Spark 集群安装

1.机器准备

    准备三台Linux服务器，安装好JDK1.8。

 

2.下载Spark安装包

    上传解压安装包：spark-2.1.1-bin-hadoop2.7.tgz 安装包到Linux上

    解压安装包到指定位置：tar -zxvf /opt/software/spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/

 

3.配置Spark【Standalone】

    Spark的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos，我们选择最具代表性的Standalone集群部署模式(在下一节我们会具体讲解Spark的部署模式)。

3.1 进入到Spark安装目录:/opt/module/spark-2.1.1-bin-hadoop2.7/conf；

3.2 将slaves.template复制为slaves, 修改slave文件，将work的hostname输入；

[hadoop@hadoop102 conf]$ mv slaves.template slaves

[hadoop@hadoop102 conf]$ vim slaves

# 里面的内容原来为localhost

hadoop102

hadoop103

Hadoop104

3.3 将spark-env.sh.template复制为spark-env.sh,修改spark-env.sh文件，添加如下配置:

# 把SPARK_HOME/conf/下的spark-env.sh.template文件复制为spark-env.sh

[hadoop@hadoop102 apps]$ cd spark-2.2.0/conf

[hadoop@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh



# 修改spark-env.sh配置文件，添加如下内容

[hadoop@hadoop01 conf]$ vim spark-env.sh



# 配置JAVA_HOME，一般来说，不配置也可以，但是可能会出现问题，还是配上吧

export JAVA_HOME=/usr/local/java/jdk1.8.0_73

# 一般来说，spark任务有很大可能性需要去HDFS上读取文件，所以配置上

# 如果说你的spark就读取本地文件，也不需要yarn管理，不用配

export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.4/etc/hadoop



# 设置Master的主机名

export SPARK_MASTER_HOST=hadoop01

# 提交Application的端口，默认就是这个，万一要改呢，改这里

export SPARK_MASTER_PORT=7077

# 每一个Worker最多可以使用的cpu core的个数，我虚拟机就一个...

# 真实服务器如果有32个，你可以设置为32个

export SPARK_WORKER_CORES=1

# 每一个Worker最多可以使用的内存，我的虚拟机就2g

# 真实服务器如果有128G，你可以设置为100G

export SPARK_WORKER_MEMORY=1g

3.4 将配置好的Spark文件分发到其他节点上；

3.5 Spark集群配置完毕；目前是1个Master，2个Work，Hadoop102上启动Spark集群:/opt/module/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh,  启动后执行jps命令，主节点上有Master进程，其他子节点上有Work进程，登录Spark管理界面查看集群状态（主节点）：http://hadoop102:8080/，到此为止，Spark集群安装完毕。

 

4.配置Job History Server【Standalone】

4.1 进入到Spark安装目录：/opt/module/spark-2.1.1-bin-hadoop2.7/conf

4.2 将spark-default.conf.template复制为spark-default.conf，修改spark-default.conf文件，开启Log：

spark.eventLog.enabled           true

spark.eventLog.dir               hdfs://hadoop103:9000/directory

    注意：HDFS上的目录需要提前存在

4.3 修改spark-env.sh文件，添加如下配置：

参数描述：

    spark.eventLog.dir：Application在运行过程中所有的信息均记录在该属性指定的路径下；

    spark.history.ui.port=4000  调整WEBUI访问的端口号为4000

    spark.history.fs.logDirectory=hdfs://hadoop103:9000/directory  配置了该属性后，在start-history-server.sh时就无需再显式的指定路径，Spark History Server页面只展示该指定路径下的信息

    spark.history.retainedApplications=3   指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4.4 将配置好的Spark文件拷贝到其他节点上

     注意：启动后执行别忘了启动HDFS

4.5 /opt/module/spark-2.1.1-bin-hadoop2.7/sbin/start-history-server.sh

    到此为止，Spark History Server安装完毕.

    注意：如果遇到Hadoop HDFS的写入权限问题：org.apache.hadoop.security.AccessControlException

        解决方案： 在hdfs-site.xml中添加如下配置，关闭权限验证

<property>

            <name>dfs.permissions</name>

            <value>false</value>

</property> 

 

5.配置Spark HA【Standalone】

    集群部署完了，但是有一个很大的问题，那就是Master节点存在单点故障，要解决此问题，就要借助zookeeper，并且启动至少两个Master节点来实现高可靠，配置方式比较简单：

    Spark集群规划：hadoop102，hadoop103 是Master；hadoop104是Worker

5.1 安装配置Zookeeper集群，并启动Zookeeper集群

5.2 停止spark所有服务，修改配置文件spark-env.sh，在该配置文件中删掉SPARK_MASTER_IP并添加如下配置:

        export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zk1,zk2,zk3 

-Dspark.deploy.zookeeper.dir=/spark"

5.3 将配置文件同步到所有节点。

5.4  在hadoop102上执行sbin/start-all.sh脚本，启动集群并启动第一个master节点，然后在hadoop103上执行sbin/start-master.sh启动第二个master节点。

5.5 程序中spark集群的访问地址需要改成：bin/spark-shell --master spark://hadoop102:7077,spark://hadoop103:7707

 

6. 配置Spark【Yarn】

6.1 修改Hadoop配置下的yarn-site.xml:

<configuration>

        <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->

        <property>

                <name>yarn.nodemanager.pmem-check-enabled</name>

                <value>false</value>

        </property>

        <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->

        <property>

                <name>yarn.nodemanager.vmem-check-enabled</name>

                <value>false</value>

        </property>

</configuration>

6.2 修改Spark-env.sh 添加：让Spark能够发现Hadoop配置文件

HADOOP_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop

YARN_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop

6.3 启动spark history server，可以查看日志。