spark的安装和配置

1、下载spark压缩包到linux进行解压

2、配置环境变量文件

#编辑配置文件
vim /etc/profile

#添加下面两行
export SPARK_HOME=/software/spark
export PATH=$PATH:$SPARK_HOME/bin
export PATH=$PATH:$SPARK_HOME/sbin

3、配置主机信息

#进入conf目录中
cd /software/spark/conf

#先从提供的模板中复制slaves和spark-env.sh文件
cp slaves.template slaves
cp spark-env.sh.template spark-env.sh

#编辑slaves文件
（删除原有的内容,添加节点）
master
slaver1
slaber2

4、配置sapark-env

#编辑spark-env.sh
vim spark-env.sh

#添加下面内容
export SPARK_HOME=/software/spark
export JAVA_HOME=/software/java
export HADOOP_HOME=/software/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
export SPAR_MASTER_PORT=7077
export SPARK_MASTER_HOST=master

5、source配置文件，并将spark的所有信息复制到其他的服务器节点上，使用scp命令进行传递。

#最后别忘记source一下
source spark-env.sh
将spark及相关复制到其他节点