1- Flink源码本地启动


前言

如果想本地启动编译后的flink源码我们可以分别启动jobmanager和taskmanager:

我们知道flink集群启动时,首先是jobmanager启动,初始化自身的组件后,taskmanager再启动,然后把自身的资源信息注册到jobmanager中。


提示:以下是本篇文章正文内容,下面案例可供参考

一、启动jobmanager

  • 找到org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint#main
  • 点击idea的左上角的edit configuration
  • 填写jvm参数
-Dlog4j.configuration=file:/xxxx/flink/build-target/conf/log4j-console.properties
-classpath
:/xxx/flink/build-target/lib/flink-dist-1.19-SNAPSHOT.jar:/xxx/flink/build-target/lib/flink-table-runtime-1.19-SNAPSHOT.jar:/xxx/flink/build-target/lib/log4j-1.2-api-2.17.1.jar:/xxx/flink/build-target/lib/log4j-slf4j-impl-2.17.1.jar:/xxx/flink/build-target/lib/flink-table-api-java-uber-1.19-SNAPSHOT.jar:/xxx/flink/build-target/lib/log4j-api-2.17.1.jar:/xxx/flink/build-target/lib/log4j-core-2.17.1.jar
  • 填写program parmas
   -c /xxx/flink/build-target/conf
  • 点击运行

二、启动taskmanager

  • 找到org.apache.flink.runtime.taskexecutor.TaskManagerRunner#main
  • 点击左上角 edit configuration 和上面一样配置
  • 如果只是到这一步 tm其实还是无法启动 会出现exit 1
  • 所以需要修改flink-conf.yaml 把tm的一些信息配置 也配置一下
taskmanager.cpu.cores: 2

taskmanager.memory.task.heap.size: 750mb
taskmanager.memory.task.off-heap.size: 0mb

taskmanager.memory.managed.size: 2048mb

taskmanager.memory.network.min: 128mb
taskmanager.memory.network.max: 128mb

taskmanager.memory.framework.heap.size: 128mb
taskmanager.memory.framework.off-heap.size: 128mb
taskmanager.log.path: target/log/jobmanager/flink.log

# jvm
taskmanager.memory.jvm-metaspace.size: 256mb
taskmanager.memory.jvm-overhead.max: 256mb
taskmanager.memory.jvm-overhead.min: 256mb

总结

1、配置修改了flink-conf.yaml后重新启动StandaloneSessionClusterEntrypoint#main
2、启动org.apache.flink.runtime.taskexecutor.TaskManagerRunner#main
3、启动jobmanager后截图
4、tm注册成功
参考出处https://blog.csdn.net/weixin_44733185/article/details/89345572

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值