Spark
文章平均质量分 91
can007
莫畏浮云遮望眼...
展开
-
Spark1.0.x入门指南(spark on yarn, standalone)
1 节点说明 IPRole192.168.1.111ActiveNameNode192.168.1.112StandbyNameNode,Master,Worker192.168.1.113DataNode,Master,Worker192.168原创 2014-07-16 21:38:00 · 9473 阅读 · 0 评论 -
Spark on Yarn遇到的几个问题
1 概述 Spark的on Yarn模式,其资源分配是交给Yarn的ResourceManager来进行管理的,但是目前的Spark版本,Application日志的查看,只能通过Yarn的yarn logs命令实现。 在部署和运行Spark Application的过程中,如果不注意一些小的细节,也许会导致一些问题的出现。2 防火墙 部署好Spark原创 2014-08-04 13:21:09 · 4447 阅读 · 0 评论