Linux -Spark安装

1、使用fz上传spark压缩包到/app/tools/

2、进入tools目录

 cd /app/tools/

使用ls查看

3、解压文件

tar -zxvf spark-2.4.1-bin-hadoop2.7.tgz

![在这里插入图片描述](https://img-blog.csdnimg.cn/eacd1ec892f54c658e91b1564e4df51b.png

解压成功

4、删除spark文件压缩包

rm -rf spark-2.4.1-bin-hadoop2.7.tgz 

（rm -rf obt_db.ql是我的另一个sql文件，你们无需此操作）

5、移动spark到/usr/local/spark

mv spark-2.4.1-bin-hadoop2.7/ /usr/local/spark

查看一下，此时tools下已没有spark

6、进入/usr/local/spark

cd /usr/local/spark/

6、进入/usr/local/spark下的conf并查看

cd conf/

（pwd是查看路径）

7、修改spark-env.sh.template名为 spark-env.sh

mv spark-env.sh.template spark-env.sh

8、修改 spark-env.sh并修改

vim spark-env.sh 

进入spark-env.sh 后按i在第一行插入两行代码

export JAVA_HOAE=/usr/local/java
export SPARK_DIST_CLASSPATH =$(/usr/local/hadoop/bin/hadoop classpath)

9、查看jps

jps

10、检查spark是否安装成功

cd /usr/local/spark/sbin/

10.1

 ./start-all.sh

至此安装成功

11、启动spark

11.1 进入bin目录

cd ../bin/

11.2启动spark

./spark-shell

11.4 简单定义一个数组

var list = List(1,3,5,7,8)

完结撒花