Flink作业提交

当我们使用IDEA/ECLIPSE 编辑器,对我们自己的Flink计算逻辑编辑完成之后呢,会将程序打包到服务器,使用Flink组件去计算(让JObManger去帮助我们进行作业管理)

(一)服务器执行命令提交

(1)作业打包

可使用IDEA打包插件,或者执行package命令mvn clean package,对我们java程序进行打包

image-20210516211025812

(2)上传至服务器

image-20210516211426975

(3)执行命令提交

命令: flink脚本<bin目录下flink脚本> run -c<作业Main方法所在类全限定名> 作业jar所在位置

-p: 指定并行度

-c: 启动程序入口类

./flink run -p 2 -c com.leilei.WordCountDataStream2 /root/flink-demo-1.0.jar

(4)常用启动参数说明

-c,--class <classname> Flink应用程序的入口
-C,--classpath <url> 指定所有节点都可以访问到的url,可用于多个应用程序都需要的工具类加载
-d,--detached 是否使用分离模式,就是提交任务,cli是否退出,加了-d参数,cli会退出
-n,--allowNonRestoredState 允许跳过无法还原的savepoint。比如删除了代码中的部分operator
-p,--parallelism <parallelism> 执行并行度
-s,--fromSavepoint <savepointPath> 从savepoint恢复任务
-sae,--shutdownOnAttachedExit 以attached模式提交,客户端退出的时候关闭集群

(二)WEB-UI提交

image-20210516212058576

操作步骤:

1、点击Add New 将打包好的计算程序上传

2、展开计算程序,根据上图示例进行选择配置

3、四栏中最后一栏是SavePoint-Path 这个在后续会详细讲到(Flink计算程序容灾与恢复)

(三)页面观测

image-20210516212526968

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值