文章目录 一、Spark运行环境 1、local环境 (1)解压缩文件 (2)启动Local环境 (3)编写集群所有进程查看脚本 2、搭建Standalone模式 (1)修改配置文件(在local基础上修改配置文件) (2)复制 spark-env.sh.template 文件名为 spark-env.sh (3)修改spark-env.sh文件,添加JAVA_HOME环境变量和集群对应的master节点 (4)分发spark-standalone (5)启动集群 (6)查看是否启动成功 (7)查看 Master 资源监控 Web UI 界面: http://master:8080(如果master不行用master IP地址)(具体原因是没在Windows里配置文件) 3、配置高可用(HA) (1)停止集群 (2)启动Zookeeper (3)修改spark-env.sh 文件添加如下配置 (4)分发配置文件 (5)启动集群 (6)启动slave2的单独Master节点,此时slave1节点MAster状态处于备用状态 (7)提交应用到高可用集群 (8)停止master的Master资源监控进程 (9)查看 slave1 的 Master 资源监控 Web UI,稍等一段时间后,slave1节点的 Master 状态 4、关于使用虚拟机主机名登录不起spark UI页面的问题 (1)查看结果 一、Spark运行环境 1、local环境 不需要其他任何节点资源就可以在本地执行 Spark 代码的环境 (1)解压缩文件 将spark-2.1.1-bin-hadoop2.7.tgz 文件上传到Linux解压到指定位置。 [atguigu@master software]$ tar -zxvf spark-2.1.1-bin-