安装:
- 安装在客户端:解压包解压在 /opt/software/spark(自己定义的目录)
- 配置文件:
修改slaves文件:其中配置worker的节点
修改配置文件:spark-env.sh,配置hadoop相关信息
3.修改命令:
sbin目录下的 start-all.sh 改为: start-1.6.3.sh(自定义)
4.修改环境变量:
问题:
1.在内存充足的情况下,运行时,报错:运行内存不足:
解决方法:查看配置文件 spark-env.sh 是不是配置了其他的参数
2.在yarn上运行spark-submit时出现:
解决:因为jdk的问题
需要在yarn-site.xml中添加:
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>