spark
文章平均质量分 92
Tlimited
简单就是终极的复杂
展开
-
spark集群启动后WorkerUI界面看不到Workers解决
最近在搭spark集群的时候,成功启动集群,但是访问master的WorkerUI界面却看不到子节点,也就是worker id那里为空的,如图: 解决这个问题,关键是改spark的conf下面的spark-env.sh文件: 注意点就是,下面的masterid必须是ip,之前填master,能启动,但是界面看不到worker。 master配置:export JAVA_HOME=/o...原创 2018-06-22 16:35:39 · 12309 阅读 · 1 评论 -
Spark RDD常用算子学习笔记详解(python版)
官网链接: http://spark.apache.org/docs/latest/api/python/pyspark.html#pyspark.RDDaggregate(zeroValue, seqOp, combOp)参考学习:https://blog.csdn.net/u013514928/article/details/56680825 官方案例如下:&amp原创 2018-07-23 13:35:31 · 3125 阅读 · 0 评论