当我们使用IDEA/ECLIPSE 编辑器,对我们自己的Flink计算逻辑编辑完成之后呢,会将程序打包到服务器,使用Flink组件去计算(让JObManger去帮助我们进行作业管理)
(一)服务器执行命令提交
(1)作业打包
可使用IDEA打包插件,或者执行package命令mvn clean package
,对我们java程序进行打包
(2)上传至服务器
(3)执行命令提交
命令: flink脚本<bin目录下flink脚本> run -c<作业Main方法所在类全限定名> 作业jar所在位置
-p: 指定并行度
-c: 启动程序入口类
./flink run -p 2 -c com.leilei.WordCountDataStream2 /root/flink-demo-1.0.jar
(4)常用启动参数说明
-c,--class <classname> Flink应用程序的入口
-C,--classpath <url> 指定所有节点都可以访问到的url,可用于多个应用程序都需要的工具类加载
-d,--detached 是否使用分离模式,就是提交任务,cli是否退出,加了-d参数,cli会退出
-n,--allowNonRestoredState 允许跳过无法还原的savepoint。比如删除了代码中的部分operator
-p,--parallelism <parallelism> 执行并行度
-s,--fromSavepoint <savepointPath> 从savepoint恢复任务
-sae,--shutdownOnAttachedExit 以attached模式提交,客户端退出的时候关闭集群
(二)WEB-UI提交
操作步骤:
1、点击Add New
将打包好的计算程序上传
2、展开计算程序,根据上图示例进行选择配置
3、四栏中最后一栏是SavePoint-Path
这个在后续会详细讲到(Flink计算程序容灾与恢复)