yarn的一些配置

最新推荐文章于 2024-07-29 15:27:16 发布

呆呆侠

最新推荐文章于 2024-07-29 15:27:16 发布

阅读量262

点赞数

本文链接：https://blog.csdn.net/liuzhenghui666666/article/details/106436906

版权

1. -m 用与配置他的模式: yarn-cluster适用于生产环境；而yarn-client适用于交互和调试

从深层次的含义讲，yarn-cluster和yarn-client模式的区别其实就是Application Master进程的区别，yarn-cluster模式下，driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行。然而yarn-cluster模式不适合运行交互类型的作业。而yarn-client模式下，Application Master仅仅向YARN请求executor，client会和请求的container通信来调度他们工作，也就是说Client不能离开。

Yarn-cluster:

Spark Driver首先作为一个ApplicationMaster在YARN集群中启动，客户端提交给ResourceManager的每一个job都会在集群的

2. 在线上启动我的第一个项目，写一个脚本，内容如下：

export HADOOP_CONF_DIR="/usr/hdp/2.6.3.0-235/hadoop/conf"
export HADOOP_CLASSPATH=`hadoop classpath`
echo ${HADOOP_CONF_DIR}
cd /data/flink/flink-1.10.0/bin
 ./flink run -m yarn-cluster -c myflink.SocketWindowWordCount  /home/zhenghui.liu/original-my-flink-project-0.1.jar