spark安装

本文安装的是spark2.3.4

首先先放到opt目录下解压：

tar -zxf spark-2.3.4-bin-hadoop2.6.tgz

然后我移动到了opt/soft目录下并改了名

mv spark-2.3.4-bin-hadoop2.6 soft/spark234

cd spark234/conf/

复制两个文件并改名

cp spark-env.sh.template spark-env.sh

cp slaves.template slaves

vim spark-env.sh

复制下面一段到最后面：（记得改成自己的ip地址！！！和改成自己hadoop

的目录！！！）

export SPARK_MASTER_HOST=192.168.xxx.xxx #主节点IP（注意改成你的ip！！）
export SPARK_MASTER_PORT=7077 #任务提交端口
export SPARK_WORKER_CORES=2 #每个worker使用2核
export SPARK_WORKER_MEMORY=3g #每个worker使用3g内存
export SPARK_MASTER_WEBUI_PORT=8888 #修改spark监视窗口的端口默认8080
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop（这里都改成自己的hadoop下的etc的hadoop的目录，不是单纯你hadoop的路径！！）
export YARN_CONF_DIR=/opt/soft/hadoop260/etc/hadoop（这里都改成自己的hadoop下的etc的hadoop的目录，不是单纯你hadoop的路径！！）

转到sbin目录下在 spark-config.sh文件最后加入：

export JAVA_HOME=放你的jdk目录

比如我的是/opt/soft/jdk180

最后在sbin目录下./start-all.sh

然后jps看看有没有worker和master 有的话就是ok了！