Spark安装部署 ——一篇文章轻松学会三种Spark运行环境的搭建

??♂??♂ 写在前面

?? 个人主页：csdn春和
?? 推荐专栏：更多专栏尽在主页！
Scala专栏（spark必学语言 已完结）
JavaWeb专栏（从入门到实战超详细！！！）
SSM专栏 （更新中…）
?? 本期文章：Spark安装部署 ——一篇文章轻松学会三种Spark运行环境的搭建

---

如果对您有帮助还请三连支持，定会一 一回访！???♂

---

??本文目录

• Spark三种运行环境的搭建
• • 1、本地模式
  • • 1.1、本地环境部署
    • 1.2、命令行工具
    • 1.3、提交应用
  • 2、standalone部署模式
  • • 2.1、安装部署步骤
    • 2.2、启动集群
    • 2.3、提交应用
    • 2.4、提交参数说明
    • 2.5、配置历史服务器
    • 2.6、高可用
  • 3、yarn模式
  • • 3.1、Yarn模式安装部署
    • 3.2、配置历史服务器
  • 4、部署模式对比
  • 5、常用端口号

---

Spark三种运行环境的搭建

Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。

1、本地模式

所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境

1.1、本地环境部署

1、将spark压缩包上传到linux

2、将spark解压到一个指定的位置

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/

再来 cd /opt/moudle查看

3、修改名字为spark-local

mv spark-3.0.0-bin-hadoop3.2/ spark-local

4、启动SparkLocal环境

进入spark-local执行命令 bin/spark-shell

5、web端查看

启动成功后，可以输入网址进行Web UI监控页面访问

http://虚拟机地址:4040

1.2、命令行工具

1、在解压缩文件夹下的data目录中，添加word.txt文件。