本文详细介绍了Spark的WEBUI各个部分，包括Jobs, Stages, Executors等，以及如何通过4040端口观察作业状态。讲解了如何上传文件到HDFS，使用`spark-shell`在Spark集群上执行任务。还涵盖了Spark历史服务器的启动与配置，以及通过Zookeeper实现Spark Master的高可用性设置。最后提到了在不同节点上启动和监控Spark的步骤。"
110770640,10295330,Python卸载numpy失败的问题及解决方案,"['Python环境管理', 'numpy库', '权限问题', '包管理']
Spark WEBUI
【Jobs,Stages,StorageLevel,Environment,Executors,SQL,Streaming 】
4040端口可以看到当前application中的所有的job,点击job可以看到当前job下对应的stage,点击stage出现stage下的task。
上传文件：
hdfs dfs -put /root/test/words /spark/data/
进入到Scala编程：去bin目录下：
./spark-shell --master spark://node01:7077
8080：sparkmaster
7077:sparkmaster提交的端口
8081：sparkworker的webUI端口
4040：web的端口
执行（必须要在active状态下启动）：
sc.textFile("hdfs://node01:8080/spark/data/words").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect()
最低0.47元/天 解锁文章
扫一扫
549
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
