flink yarn 集群的启动参数
--jobmanager yarn-cluster -yjm 10240 -ytm 10240 -yD yarn.containers.vcores=4
--yarncontainer 1 --yarnslot 4
算子输出查看
Sink__Unnamed.numRecordsIn
flink JVM参数
-jobmanager yarn-cluster -yjm 10240 -ytm 12040 -yDyarn.containers.vcores=4
Dssoaccesskeyid=mesm2m_ a65c6da0c3be4ffba73eafe2d76e6bec
Dssosecretaccesskey=ddbb3c7b95d04507b9f68c906ff41 9d0bdfd7e8b3957447883c3b29a2d6ac610
yarn-session.sh
-at,- applicationType <arg>:为Yarn application自定义类型。
-D <property=value>:动态参数配置。
-d,-detached:关闭交互模式,启动一个分离的FlinkYARN session。
-h,-help:显示Yarn session CLI的帮助。
-id,-applicationld <arg>:绑定到一个已经运行的Yarnsession.
j,jar <arg>:设置用户jar包路径。
jm,-jobManagerMemory carg>:为JobManageri设置内存。
-m-,jobmanager <arg>:要连接的JobManager的地址,使用该参数可以连接特定的JobManagero
-nl,-nodeL abel <arg>:指定YARN aplcation的nodeLabel
-nm,-name <arg>:为Yarn application自定义名称。
-q,- query:查询可用的Yarn 资源。
-qu,-queue <arg>:指定YARN队列。
-S,- -slots <arg>:设置每个Taskmanager的SLOT个数。-t,-ship <arg>:指定待发送文件的目录。
-tm,-taskManagerMemory <arg>:为TaskManager设置内存。
-yd, yarndetached:以分离模式启动。
-Z, zookeeperNamespace <args> :指定zookeeper的namespace。
-h:获取帮助。
启动个常驻的Flink集群,接受来自Flink客户端的任务。
flink run
-c,-class <classname>:指定一个类作为程序 运行的入口点。
-C,-classpath <url>:指定classpatho
-d, detached:以分离方式运行job。
-fles,- dependencyFiles <arg>: Flink程序依赖的文件。
-n,-allowNonRestoredState:从快照点恢复时允许跳过不能恢复的状态。比如删除了程序中某个操作符,那么在恢复快照点时需要增加该参数。
-m,-jobmanager <hostport>:指定JobManager
-p,-parallelism <parallelism>:指定job并行度,会覆盖配置文件中配置的并行度参数。
-q,-sysoutLogging: 禁止link日志输出至控制台。
-s,-fromSavepoint <savepointPath>:指定用于恢复job的savepoint路径。
-z-7ookeeperNamespace <zookeeperNamespace>: 指定zpokeeper的namespace。
-yat-yarmnapplicationType <arg>:为Yarn application自定义类型。
-yD<arg>:动态参数配置。
-yd,-yarndetached:以分离模式启动。yh,-yarmhelp:获取yarn帮助。
-yid,-yarnapplicationld <arg>:绑定到yarn session运行job。
-yi-arnjar <arg>:设置Flnk jar文件路径。
-yjm,-yarnjobManagerMemory <arg>:为JobManager设置内存(MB)。
-ynm,--yarnname <arg>:为Yarn application自定义名称。
-yq, --yarnquery:查询可用的YARN资源(内存、CPU) 。
-yqu, --yarnqueue <arg>:指定YARN队列。
-ys,--yarnslots:设置每个TaskManager的SLOT个数。
-yt,--yarnship <arg>:指定待发送文件的路径。
-ytm,- yarntaskManagerMemory <arg> : ) TaskManager设置内存(MB)。
-yz,-yarnzookeeperNamespace <arg>: 指定zookeeper的namespace,需要与yarm-session.sh-z 保持一致
-h 获取帮助
FLINK提交作业
1."-y*"参数是指yarn-cluster模式下使用。
2.非"-y*"参数用户在用该命令提交任务前需要先用yarn-sessionFiFlinkBt.
01-05
1009
![](https://csdnimg.cn/release/blogv2/dist/pc/img/readCountWhite.png)
07-08
1959
![](https://csdnimg.cn/release/blogv2/dist/pc/img/readCountWhite.png)