flink on yarn的两种模式

flink on yarn
    两种模式
    1.内存集中管理模式(yarn-session模式)
        提交命令:(1)yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d]
                        -n:taskManager的数量
                        -jm:jobManager的内存大小
                        -tm:taskManager的内存大小
                        -d:后台执行
                    启动一个yarn容器来启动flink集群
                  (2)flink run -c xxx xxx.jar -input xxx -output xxxx
                        -c:如果没有在jar包中指定入口类,则需要在这里通过这个参数指定 
                        -input:输入参数
                        -output:输出参数
                    在yarn中启动flink集群任务
    注意:该模式是启动一个大的yarn内存资源,在这个资源中可以启动多个flink集群任务,同时该任务cancel后该yarn资源还在
            优点:flink job启动的时间减少
            缺点:一直占用资源(其中每次flink job挂掉之后 jobManager还在占用资源而TaskManager占用的资源已经被回收)
    2. 内存Job管理模式
        提交命令:flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 -c xxx ./data/batch/WordCount.jar
            -m:--jobmanager <host:port>  指定需要连接的jobmanager(主节点)地址,使用这个参数可以指定一个不同于配置文件中的jobmanager 
            -yn:taskManager的数量
            -ytm:taskManager的内存大小
            -yjm:jobManager的内存大小
            -c:如果没有在jar包中指定入口类,则需要在这里通过这个参数指定
    注意:该模式是一个flink job在yarn中就启动一个资源调度,同时该flink job结束后该yarn资源也就释放
            优点:不会一直占用资源
            缺点:启动flink job花费较多时间  

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值