Spark2.3.1的安装运行(伪分布式)

一、 spark的安装

1、 本地安装

1、 在安装spark之前需要先安装JDK和scala环境，hadoop环境
2、 解压安装即可

2、 standalone安装模式

1、 解压安装，配置环境变量(通过spark-shell来测试有没有安装成功)
2、 在conf/spark-env.sh下配置

master节点的配置
SPARK_MASTER_HOST=node1
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8888

3、 在conf/slaves下配置

worker节点
node1

4、 在sbin/spark-config.sh下配置

export   JAVA_HOME=/opt/app/jdk1.8.0_321

5、 在sbin/start-all.sh stop-all.sh下对其重命名

重命名  防止和hadoop启动关闭脚本名冲突
mv   start-all.sh   start-spark-all.sh
mv    stop-all.sh   stop-spark-all.sh

配置历史日志服务器

1、 在conf/spark-default.conf下配置

spark.master                     spark://node1:7077
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs:/