- 博客(2)
- 资源 (1)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Spark Yarn-Cluster模式下官方求圆周率案例
目录一、环境准备:二、在master上部署历史服务器:三、执行spark任务一、环境准备:1.启动HDFS集群2.启动yarn3.查看集群启动是否正常(使用查看进程脚本xcall.sh)4.关闭安全模式也可在网页端查看:二、在master上部署历史服务器:1.准备日志存储的文件夹:网页端查看:2.在spark/conf路径下,复制spark-defa...
2021-09-20 22:40:40
566
原创 汇总三个文件中的内容
环境:Spark Yarn-Cluster模式下要求:将三份文件中的 内容读取并合并,格式:学号,姓名,大数据成绩,Hadoop成绩,总成绩,平均分一、启动集群,关闭安全模式,进入spark-shell[zkpk@master ~]start-dfs.sh[zkpk@master ~]start-yarn.sh[zkpk@master ~]xcall.sh[zkpk@master ~]hdfs dfsadmin -safemode leave[zkpk@master ~]cd sp
2021-10-06 13:51:05
180
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人