Spark安装

Spark安装使用

Spark应用程序可以运行在本地模式（Local Mode）、集群模式（Cluster Mode）和云服务（Cloud），方便开发测试和生产部署。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wV5dNzQE-1668249320510)(Spark安装.assets/图片1.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AZZfa1DN-1668249320511)(Spark安装.assets/image-20210807151157786.png)]

Spark环境搭建-Local-本地模式

准备工作

1. JDK

2. Scala SDK只需要在Windows安装即可

3. Spark安装包

   https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz

原理

下载

# 进入软件包存放目录（自定义）
cd /opt/software

# 网络下载spark安装包（注意需要联网）
wget https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g0DiMWSb-1668249320512)(Spark安装.assets/image-20210807152205398.png)]

解压缩

tar -zxvf /opt/software/spark-3.1.3-bin-hadoop3.2.tgz -C /opt/module/

chown -R root spark-3.1.3-bin-hadoop3.2/
chgrp -R root spark-3.1.3-bin-hadoop3.2/

测试

1. 启动spark交互式窗口

 /opt/module/spark-3.1.3-bin-hadoop3.2/bin/spark-shell

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZhL45k2a-1668249320513)(Spark安装.assets/image-20210807153027048.png)]

2. 打开http://hadoop101:4040

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ai3YCABH-1668249320514)(Spark安装.assets/image-20210807152915058.png)]

3. 准备文件

vim /root/words.txt

hello me you her
hello me you
hello me
hello

4. 执行WordCount

val textFile = sc.textFile("file:///root/words.txt")
val counts = textFile.flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _)
counts.collect()

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bEEBZ041-1668249320515)(Spark安装.assets/image-20210807153237814.png)]

5. 退出

按键 Ctrl+C 或输入 Scala 指令

:quit

[外链图片转存中…(img-bEEBZ041-1668249320515)]

5. 退出

按键 Ctrl+C 或输入 Scala 指令

:quit