Flink 1.13
Hadoop 3.2.1
在近期学习flink过程中,遇到了一个bug。
yarn的会话模式,与之前学习的独立集群不同,首先申请一个yarn会话(yarn session)来启动集群。
但是当我启动了Hadoop之后
执行flink脚本命令:
bin/yarn-session.sh -nm test
报错了!
我首先尝试修改了capacity的问题,比如关闭yarn内存检查,但是仍然没有解决我的问题。
<!-- 关闭yarn内存检查 -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
后面又改变了内存的大小,仍然没解决。
我又继续排查,知道发现yarn-env.sh文件并没有配置Java的环境变量。(yarn-env.sh、mapred-env.sh和hadoop-env.sh这三个文件都需要配置当前Java的环境变量!)
后面就解决拉!!!