HDP2.5.0 + Spark1.6.2 通过IDEA(Win64)远程提交spark jobs On YARN
更新日:2018-08-17
本文利用Apache Ambari搭建了一个HDP2.5.0的集群,安装了HDP下最新的Spark1.6.2,通过spark-submit提交任务模式local、standalone、yarn-client均可。
但编程环境往往在Win下,standalone模式需要独立启动Spark集群(占用资源是不可避免的),yarn-client模式提交问题繁多,且修改代码...
原创
2016-12-12 11:39:24 ·
1913 阅读 ·
4 评论