Spark安装使用
Spark应用程序可以运行在本地模式(Local Mode)、集群模式(Cluster Mode)和云服务(Cloud),方便开发测试和生产部署。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wV5dNzQE-1668249320510)(Spark安装.assets/图片1.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AZZfa1DN-1668249320511)(Spark安装.assets/image-20210807151157786.png)]
Spark环境搭建-Local-本地模式
准备工作
-
JDK
-
Scala SDK只需要在Windows安装即可
-
Spark安装包
https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
原理
![1609551528270](Spark安装.assets/1609551528270.png)
下载
# 进入软件包存放目录(自定义)
cd /opt/software
# 网络下载spark安装包(注意需要联网)
wget https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g0DiMWSb-1668249320512)(Spark安装.assets/image-20210807152205398.png)]
解压缩
tar -zxvf /opt/software/spark-3.1.3-bin-hadoop3.2.tgz -C /opt/module/
chown -R root spark-3.1.3-bin-hadoop3.2/
chgrp -R root spark-3.1.3-bin-hadoop3.2/
测试
- 启动spark交互式窗口
/opt/module/spark-3.1.3-bin-hadoop3.2/bin/spark-shell
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZhL45k2a-1668249320513)(Spark安装.assets/image-20210807153027048.png)]
- 打开http://hadoop101:4040
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ai3YCABH-1668249320514)(Spark安装.assets/image-20210807152915058.png)]
- 准备文件
vim /root/words.txt
hello me you her
hello me you
hello me
hello
- 执行WordCount
val textFile = sc.textFile("file:///root/words.txt")
val counts = textFile.flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _)
counts.collect()
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bEEBZ041-1668249320515)(Spark安装.assets/image-20210807153237814.png)]
- 退出
按键 Ctrl+C 或输入 Scala 指令
:quit
[外链图片转存中…(img-bEEBZ041-1668249320515)]
- 退出
按键 Ctrl+C 或输入 Scala 指令
:quit