1>安装spark前,先安装好scala,https://blog.csdn.net/dwt1415403329/article/details/82724757
2>在/usr/local/src/中解压spark-2.0.2-bin-hadoop2.6.tgz
3>在spark根目录中,进入/conf目录下,创建slaves和 spark-env.sh文件,我这里配的是集群的方式,所以在slaves中添加
slave1
slave2
在 spark-env.sh中添加
JAVA_HOME=/usr/local/src/jdk1.8.0_172
HADOOP_HOME=/usr/local/src/hadoop-2.6.1
HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SCALA_HOME=/usr/local/src/scala-2.11.4
SPARK_MASTER_IP=newmaster(自己主机名)
SPARK_LOCAL_DIRS=/usr/local/src/spark-2.0.2-bin-hadoop2.6
SPARK_DRIVER_MEMORY=1G
4>在~/.bashrv中添加
SPARK_HOME=/usr/local/src/spark-2.0.2-bin-hadoop2.6
export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin
保存,退出。然后source ~/.bashrc
5>在spark根目录中,进入/sbin目录下,执行./start-all.sh命令即可
6>在浏览器中输入Linux主机ip:8080,可查看是否正常