- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Spark Yarn-Cluster模式下官方求圆周率案例
目录一、环境准备：二、在master上部署历史服务器：三、执行spark任务一、环境准备：1.启动HDFS集群2.启动yarn3.查看集群启动是否正常（使用查看进程脚本xcall.sh）4.关闭安全模式也可在网页端查看:二、在master上部署历史服务器：1.准备日志存储的文件夹：网页端查看：2.在spark/conf路径下，复制spark-defa...
2021-09-20 22:40:40
566
原创 汇总三个文件中的内容
环境：Spark Yarn-Cluster模式下要求:将三份文件中的 内容读取并合并，格式：学号，姓名，大数据成绩，Hadoop成绩，总成绩，平均分一、启动集群，关闭安全模式，进入spark-shell[zkpk@master ~]start-dfs.sh[zkpk@master ~]start-yarn.sh[zkpk@master ~]xcall.sh[zkpk@master ~]hdfs dfsadmin -safemode leave[zkpk@master ~]cd sp
2021-10-06 13:51:05
180
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人