Spark学习之路 （二）Spark2.3 HA集群的分布式安装

《2021年最新版大数据面试题全面开启更新》

欢迎关注github《大数据成神之路》

目录

一、下载Spark安装包
1、从官网下载
2、从微软的镜像站下载
3、从清华的镜像站下载
二、安装基础
三、Spark安装过程
 1、上传并解压缩
2、为安装包创建一个软连接
3、进入spark/conf修改配置文件
4、配置环境变量
四、启动
1、先启动zookeeper集群
2、在启动HDFS集群
3、在启动Spark集群
4、查看进程
5、问题
6、执行之后再次查看进程
五、验证
1、查看Web界面Master状态
2、验证HA的高可用
六、执行Spark程序on standalone
1、执行第一个Spark程序
2、启动spark shell
3、 在spark shell中编写WordCount程序
七、 执行Spark程序on YARN
1、前提
2、启动Spark on YARN
3、打开YARN的web界面
4、运行程序
5、执行Spark