一、下载安装
网址:https://www.scala-lang.org/download/
二、压缩包传输!
put D:\用户目录\我的文档\Tencent Files\1446989230\FileRecv大数据软件\scala-2.12.8.tgz
put D:\用户目录\我的文档\Tencent Files\1446989230\FileRecv大数据软件\spark-2.4.3-bin-hadoop2.7.tgz
三、解压
tar -zxvf scala-2.12.8.tgz -C /opt/module
tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz -C/opt/module
四、重命名
(1)把scala-2.12.8 重命名为 scala
运行命令
mvs cala-2.12.8 scala
(2) spark-2.4.3-bin-hadoop2.7 重命名成 spark!
运行mv spark-2.4.3-bin-hadoop2.7 spark
五、测试
scala -version
六、启动hadoop
start-all.sh
七、启动spark
八、使用Spark Shell编写代码
1、读取本地件
2、显示第一行内容
在这里插入图片描述
3、对上述hdfs根目录下f1.txt文件进行词频统计
在这里插入图片描述4、查看结果
在这里插入图片描述
Spark学习记录
最新推荐文章于 2024-05-31 11:52:42 发布