spark搭建伪分布式环境

spark搭建伪分布式环境

1.一台Linux虚拟机
CentOS-6.6的一个虚拟机，主机名为repo
参考在Windows中安装一台Linux虚拟机
2.spark安装包
下载地址：https://mirrors.aliyun.com/apache/spark/
我用的spark-2.2.0-bin-hadoop2.7.tgz
要根据自己机器中的hadoop版本选择对应的spark版本

---

(1) 把安装包上传到服务器并解压
[root@repo soft]# tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/

[root@repo soft]# cd /opt
[root@repo opt]# mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0

(2) 修改spark-env.sh配置文件

把SPARK_HOME/conf/下的spark-env.sh.template文件复制为spark-env.sh

[root@repo opt]# cd spark-2.2.0/conf/
[root@repo conf]# cp spark-env.sh.template spark-env.sh

修改spark-env.sh配置文件，添加如下内容

[root@repo conf]# vim spark-env.sh

配置JAVA_HOME，一般来说，不配置也可以，但是可能会出现问题，还是配上吧

export JAVA_HOME=/usr/local/java/jdk1.8.0_73

一般来说，spark任务有很大可能性需要去HDFS上读取文件，所以配置上

如果说你的spark就读取本地文件，也不需要yarn管理，不用配

export HADOOP_CONF_DIR=/opt/hadoop-2.7.4/etc/hadoop

设置Master的主机名

export SPARK_MASTER_HOST=repo

提交Application的端口，默认就是这个，万一要改呢，改这里

export SPARK_MASTER_PORT=7077

每一个Worker最多可以使用的cpu core的个数，我虚拟机就一个…

真实服务器如果有32个，你可以设置为32个

export SPARK_WORKER_CORES=1

每一个Worker最多可以使用的内存，我的虚拟机就2g

真实服务器如果有128G，你可以设置为100G

export SPARK_WORKER_MEMORY=2g

(3) 修改slaves配置文件
[root@repo conf]# cp slaves.template slaves
[root@repo conf]# vim slaves

里面的内容原来为localhost，改为repo

repo

伪分布式就一台机器，用localhost也可以

但我们毕竟搭建的是伪分布式集群，注意，是集群

改成repo心里可能更相信它是一个分布式集群

(4) 配置SPARK_HOME环境变量
[root@repo conf]# vim /etc/profile

export SPARK_HOME=/opt/spark-2.2.0
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

[root@repo conf]# source /etc/profile

(5) 启动spark伪分布式集群
注意：
• 上一步配置了SPARK_HOME，所以在任意位置使用start-all.sh就可以启动spark集群
• 但是，如果你也配置了HADOOP_HOME，在HADOOP_HOME/sbin目录下，也有start-all.sh和stop-all.sh这两个命令
• 那么当你执行start-all.sh这个命令，可能会出错，尤其是执行stop-all.sh命令，如果你要停止spark集群，系统给你关闭了hadoop集群，不说了…
解决办法：

1. 启动或关闭spark集群，即使你配置了环境变量，还是进入spark的sbin目录下去操作吧，那还配SPARK_HOME干嘛？我们可以在任意位置执行提交spark任务的命令。

2. [root@repo conf]# cd /opt/spark-2.2.0/sbin/

3. [root@repo sbin]# ./start-all.sh

4. 把SPARK_HOME/sbin/目录下的start-all.sh和stop-all.sh两命令修改一下名字，比如分别修改为start-spark-all.sh和stop-spark-all.sh，然后再执行，就不会与hadoop的命令冲突了
   [root@repo sbin]# mv start-all.sh start-spark-all.sh
   [root@repo sbin]# mv stop-all.sh stop-spark-all.sh
   [root@repo sbin]# start-spark-all.sh
   说明：
   • 如果你的配置文件中配置了HADOOP_CONF_DIR，在启动spark集群之前，先启动hadoop集群
   (6) 验证
   [root@repo sbin]# jps
   8576 Jps
   8449 Master
   8504 Worker

访问WEB页面

spark伪分布式集群搭建成功！