spark on yarn
文章平均质量分 91
can007
莫畏浮云遮望眼...
展开
-
Spark1.0.x入门指南(spark on yarn, standalone)
1 节点说明 IP Role 192.168.1.111 ActiveNameNode 192.168.1.112 StandbyNameNode,Master,Worker 192.168.1.113 DataNode,Master,Worker 192.168原创 2014-07-16 21:38:00 · 9487 阅读 · 0 评论 -
Spark on Yarn遇到的几个问题
1 概述 Spark的on Yarn模式,其资源分配是交给Yarn的ResourceManager来进行管理的,但是目前的Spark版本,Application日志的查看,只能通过Yarn的yarn logs命令实现。 在部署和运行Spark Application的过程中,如果不注意一些小的细节,也许会导致一些问题的出现。 2 防火墙 部署好Spark原创 2014-08-04 13:21:09 · 4462 阅读 · 0 评论