Flink使用指南：Flink操作命令基础整理 (日常更新中...)

系列文章目录

Flink使用指南：Checkpoint机制，完全搞懂了，你就是大佬！

Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！

Flink使用指南: Kafka流表关联HBase维度表

Flink使用指南: Watermark新版本使用

Flink使用指南: Flink SQL自定义函数

flink -run命令：

-c,--class <classname> : 需要指定的main方法的类
-C,--classpath <url> : 向每个用户代码添加url，他是通过UrlClassLoader加载。url需要指定文件的schema如（file://）
-d,--detached : 在后台运行
-p,--parallelism <parallelism> : job需要指定env的并行度，这个一般都需要设置。
-q,--sysoutLogging : 禁止logging输出作为标准输出。
-s,--fromSavepoint <savepointPath> : 基于savepoint保存下来的路径，进行恢复。
-sas,--shutdownOnAttachedExit : 如果是前台的方式提交，当客户端中断，集群执行的job任务也会shutdown

flink run -m yarn-cluster命令：

-m/--jobmanager : yarn-cluster集群
 -yd/--yarndetached : 后台
 -yjm/--yarnjobManager : jobmanager的内存
 -ytm/--yarntaskManager : taskmanager的内存
 -yid/--yarnapplicationId : job依附的applicationId
-ynm/--yarnname : application的名称
-ys/--yarnslots : 分配的slots个数

flink cancel

flink cancel [options] <job_id> : 取消正在运行的job id
flink cancel -s/--withSavepoint <path> <job_id> ： 取消正在运行的job，并保存到相应的保存点、

flink savepoint

flink savepoint [options] <job_id> <target directory>
# 触发保存点
flink savepoint <job_id> <hdfs://xxxx/xx/x> : 将flink的快照保存到hdfs目录
# 使用yarn触发保存点
flink savepoint <job_id> <target_directory> -yid <application_id>
# 使用savepoint取消作业
flink cancel -s <tar_directory> <job_id>
# 从保存点恢复
flink run -s <target_directoey> [:runArgs]
# 如果复原的程序，对逻辑做了修改，比如删除了算子可以指定allowNonRestoredState参数复原。
flink run -s <target_directory> -n/--allowNonRestoredState [:runArgs]

flink保存savePoint:

bin/flink stop 50283447ceda3e25ab0d206f88f5630c -yid application_1602652869817_0365

退出程序并savepoint

/usr/lib/flink-current/bin/flink cancel --yarnapplicationId application_1607548790592_0278 --withSavepoint hdfs://emr-cluster/flink/flink-savepoints/ e6012c878ff435f1bfaeaecaf5bbdcd9

保存savepoint

/usr/lib/flink-1.12.4/bin/flink savepoint e6012c878ff435f1bfaeaecaf5bbdcd9 hdfs://emr-cluster/flink/flink-savepoints -yid application_1607548790592_0278

保存并退出

/usr/lib/flink-1.12.4/bin/flink stop -p hdfs://emr-cluster/flink/flink-savepoints -d e6012c878ff435f1bfaeaecaf5bbdcd9 -yid application_1607548790592_0278

从savepoint处启动

run --jobmanager yarn-cluster --yarnname flink_test --yarnjobManagerMemory 4096 --yarntaskManagerMemory 4096 --yarnslots 4 --parallelism 4 --fromSavepoint hdfs://emr-cluster/flink/flink-savepoints/savepoint-aef690-ef2b6e0cd4e8 --class com.colipu.etlApplications.FlinkETL2DataBase ossref://sh-itsharedfile-prd/data_bigdata/etl_real_time/ETL/Product/test.jar --application_path ossref://sh-itsharedfile-prd/data_bigdata/etl_real_time/ETL/Product/application.properties