Spark安装以及配置

1>安装spark前，先安装好scala，https://blog.csdn.net/dwt1415403329/article/details/82724757

2>在/usr/local/src/中解压spark-2.0.2-bin-hadoop2.6.tgz

3>在spark根目录中，进入/conf目录下，创建slaves和 spark-env.sh文件，我这里配的是集群的方式，所以在slaves中添加

slave1

slave2

在 spark-env.sh中添加

JAVA_HOME=/usr/local/src/jdk1.8.0_172

HADOOP_HOME=/usr/local/src/hadoop-2.6.1

HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

SCALA_HOME=/usr/local/src/scala-2.11.4

SPARK_MASTER_IP=newmaster(自己主机名)

SPARK_LOCAL_DIRS=/usr/local/src/spark-2.0.2-bin-hadoop2.6

SPARK_DRIVER_MEMORY=1G

4>在~/.bashrv中添加

SPARK_HOME=/usr/local/src/spark-2.0.2-bin-hadoop2.6

export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

保存，退出。然后source ~/.bashrc

5>在spark根目录中，进入/sbin目录下，执行./start-all.sh命令即可

6>在浏览器中输入Linux主机ip:8080，可查看是否正常