在安装spark 时,spark支持三种运行模式standalone,yarn,mesos。其中spark on yarn运行模式又分为cluster模式和client模式。下面就介绍安装spark on yarn一些配置信息。
1.配置yarn-site.xml
关闭虚拟机内存检查,避免虚拟机内存不足时,无法使用。
2.配置hdfs-site.xml
关闭hdfs权限认证问题
3.配置spark-env.sh 需要配置hadoop的conf地址
先启动hadoop的hdfs和yarn,提交代码测试,client模式
登录yarn web界面查看job信息