【Linux】CentOS下安装Spark（standalone模式）

一、JDK的安装

参考：https://blog.csdn.net/hr786250678/article/details/84998895

二、HADOOP的安装

参考：https://blog.csdn.net/hr786250678/article/details/89574478

三、Scala的安装

1 上传压缩包到虚拟机（master，slave1），解压

tar -zxvf scala-2.11.8.tgz

2 修改名字便于使用

mv scala-2.11.8 scala

3 配置环境变量：vim ~/.bashrc 

加入以下内容：

export SCALA_HOME=/root/soft/scala
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SCALA_HOME/bin:$PATH

加载生效：source ~/.bashrc

4 查看版本，检查是否成功：scala -version

四、Spark的安装和部署

1 上传压缩包到虚拟机（master，slave1），解压

tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz

2 修改名字便于使用

mv spark-2.3.3-bin-hadoop2.7 spark

3 配置环境变量：由于Spark和Hadoop的脚本有冲突，所以环境变量二者中只能设一个，我前面已经设过Hadoop了，这里就不在设置Spark了

4 修改配置文件，在spark安装目录下的conf中

①slave文件：在slaves中配置运行worker的机器（ 这样使master只运行cluster）

cp slaves.template slaves
vim slaves

②spark-env.sh文件

cp spark-env.sh.template spark-env.sh
vim spark-env.sh

添加如下内容：注意修改export SPARK_MASTER_IP为对应所需的主节点，下面和master相关的配置一定要写32位的IP地址，不要写主机别名，不然可能在webUI中看不到Workers

export SCALA_HOME=/root/soft/scala
export JAVA_HOME=/root/soft/jdk
export HADOOP_HOME=/root/soft/hadoop
export SPARK_MASTER_HOST=192.168.11.129
export SPARK_MASTER_IP=192.168.11.129
export SPARK_MASTER_PORT=7077
export SPARK_LOCAL_IP=192.168.11.128
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_EXECUTOR_MEMORY=1024m

4 启动：必须在master节点上执行

首先切换到目录：cd /root/soft/spark/sbin

执行启动脚本：./start-all.sh

在master上使用jps查看spark进程

在slave1上使用jps查看进程

5 使用spark自带实例SparkPi测试

①client模式

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 examples/jars/spark-examples_2.11-2.1.3.jar --executor-memory 1G

其中--master spark指定standlone模式

②cluster模式（只能在master上运行）

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 1G --deploy-mode cluster --supervise --executor-memory 1G examples/jars/spark-examples_2.11-2.3.3.jar  100

6 还可以在浏览器中通过webUI查看Spark集群状态

IP地址：8080

如果是使用windows中的浏览器需要先关闭虚拟机的防火墙

 

输入spark-shell看到如下界面

：quit退出