![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
JopenC
(⁎˃ᆺ˂)
展开
-
Spark实验2更新版(自用)
在master节点上执行如下命令:/opt/hadoop/sbin/start-all.sh //启动hadoop集群/opt/spark/sbin/start-all.sh //启动spark集群1.在master的/opt目录下新建file1.txt数据文件直接复制file1.txt:1,1768,50,1552,1218,600,2113,2239,788,2424,310...原创 2019-10-25 00:22:22 · 447 阅读 · 0 评论 -
RDD编程初级实践
请根据给定的实验数据Data01.txt,在spark-shell中通过编程来计算以下内容首先使用xftp将Data01.txt(某大学计算机系的成绩数据集)上传至master节点的/opt目录下所有节点使用hadoop用户登录su hadoop //切换hadoop用户在master节点上分别启动hadoop集群和spark集群/opt/hadoop/sbin/start-all.s...原创 2019-10-17 22:24:17 · 6402 阅读 · 0 评论 -
Spark的安装实验(基于hadoop全分布集群)
注:此实验环境基于本人文章“Centos7搭建hadoop完全分布式集群”文章链接:https://blog.csdn.net/Jop_qq/article/details/89421400所有实验资源均可自行上网下载1.在spark官网下载2.4.4版本的安装包2.使用xftp传输工具将spark安装包上传至master主机的/opt目录下3.在所有节点上创建hadoop用户添加用户...原创 2019-09-22 23:52:24 · 957 阅读 · 0 评论