配置spark之前,请自行部署Hadoop2.7.2,JDK1.8,ssh免密码登录等准备工作。
1)修改hadoop配置文件yarn-site.xml,添加如下内容:
[root@mzz11 opt]$ vi yarn-site.xml
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
2)修改spark-env.sh,添加如下配置:
[root@mzz11 conf]$ vi spark-env.sh
YARN_CONF_DIR=/opt/hadoop-2.7.2/etc/hadoop
HADOOP_CONF_DIR=/opt/hadoop-2.7.2/etc/hadoop
3)分发配置文件
[root@mzz11 opt]$ scp /opt/hadoop-2.7.2/etc/hadoop/yarn-site.xml 192.168.0.12:/opt/hadoop-2.7.2/etc/had