Spark-2.1.2 Hadoop-2.7.5 spark-submit yarn client cluster两种模式提交
(这个博客主要是留给很菜的自己看的)节点在云上,因为内外网IP和权限问题折腾了一段时间环境:spark:2.1.2hadoop:2.7.5java:1.8IDE:idea 各种弯路:--在IDEA上运行没有成功,spark standalone 模式下始终提示申请不到资源(待解决)每个节点8个core,32G memory,各取1个core,1024M memory,依然提示:WARN TaskS...
原创
2018-03-15 20:22:17 ·
3125 阅读 ·
0 评论