taskmanager总是在一个节点
环境:
- CentOS 7
- flink 1.16.0
- hadoop 3.3.2
问题:
通过yarn-session.sh 命令启动flink,提交多个任务后,发现他们的taskmanager均在同一节点
解决:
修改hadoop中yarn配置文件 yarn-site.xml
<!-- 是否在一个节点分配多个containe -->
<property>
<name>yarn.scheduler.fair.assignmultiple</name>
<value>false</value>
</property>
<!-- 代表在一个节点上一次性最多分配几个container -->
<property>
<name>yarn.scheduler.fair.max.assign</name>
<value>2</value>
</property>