spark环境安装及配置详细（附带相关错误及解决办法）

安装spark之前需要成功安装scala

1. 解压安装包

1. 更改名字

1. 修改环境变量

使环境变量生效

1. 修改配置文件

进入spark目录

进入conf

查看文件

更改文件名称

将spark-env.sh.template、slaves.template分别替换为spark-env.sh、slaves：

1. 配置slaves

1. 配置spark-env.sh

注意：8021端口，相当于hadoop3内部通信的8020端口，此处的端口需要确认自己的Hadoop配置

7、scala\spark拷贝到slave1、slave2节点：

8、启动spark：
需先启动hadoop：

Master;                        salve1

再启动spark

9.启动成功，查看任务进程

Master

Slave1

Slave2

浏览器访问：

错误排查方法

1 查看端口是否开启

运行命令  netstat–tunlp | grep 8080

查看8080端口是否开启。

2 查看占用端口的进程

运行命令lsof–i:8080

查看8080端口被那个进程占用。

3 查看 运行日志

Spark主节点日志文件路径：

 $SPARK_HOME/logs/*-Master-.log

 $SPARK_HOME/logs/*-Master-.out

Spark从节点日志文件路径：

 $SPARK_HOME/logs/*-Worker-.log

 $SPARK_HOME/logs/*-Worker-.out

遇见错误：

spark都可以使用，三个节点分别有master、woker进程，测试spark程序也可以，就是打不开master:8080的网页。

       解决办法：

可能是有的任务把8080端口占用

可以把默认的8080改为8081，如上图

二：

如果workers中无任务进行

可能是

url与设置的不一致，所以无法显示

解决方法：

更改设备中的url