Spark客户端2.3.0 on yarn 2.7.2 部署说明

Spark客户端2.3.0 on yarn 2.7.2 部署说明

 

本部署说明为在yarn集群以外的服务器上部署Hadoop客户端和Spark客户端。

• 软件及版本

1. jdk-8u77-linux-x64.tar.gz
2. hadoop-7.2.tar.gz

下载地址：https://archive.apache.org/dist/hadoop/core/hadoop-2.7.2/hadoop-2.7.2.tar.gz

      3. spark-2.0-bin-hadoop2.7.tgz

下载地址：https://archive.apache.org/dist/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

       4. krb5-workstation

使用Linux系统的yum安装

• 需要Hadoop集群的客户端配置文件

1. core-site.xml
2. hdfs-site.xml
3. yarn-site.xml
4. krb5.conf
5. kerberos认证文件及principal名字

注：Yarn集群需要配置以下参数，才能保证spark服务正常运行。

 

<property>      <name>yarn.nodemanager.vmem-check-enabled</name>      <value>false</value> </property> <property>      <name>yarn.nodemanager.vmem-pmem-ratio</name>      <value>4</value> </property>

 

• 软件安装步骤

1. 上传软件到/usr/local目录，之后解压。

JDK安装位置：/usr/local/jdk1.8.0_77

Hadoop安装位置：/usr/local/hadoop-2.7.2

Spark安装位置：/usr/local/spark-2.3.0-bin-hadoop2.7

Kerberos安装：yum install krb5-workstation

1. 基本环境配置

1. 环境变量配置

 

cat ~/.bash_profile #java config export JAVA_HOME=/usr/local/jdk1.8.0_77   #hadoop config export HADOOP_HOME=/usr/local/hadoop-2.7.2 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_HOME=$HADOOP_HOME export YARN_CONF_DIR=$HADOOP_CONF_DIR export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH   #spark config export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7 export SPARK_CONF_DI=$SPARK_HOME/conf   export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin:$PATH

 

 

1. 配置hosts

文件位置：/etc/hosts

         需要配置YARN集群的所有IP地址和主机名到hosts文件中。  

需要配置kerberos主机的所有IP地址和主机名到hosts文件中。

需要配置本spark客户端的IP地址和主机名到所有YARN集群主机hosts文件中。

1. 配置kerberos

使用客户提供的krb5.conf文件覆盖/etc/目录下的krb5.conf文件。并确认可以ping通kerberos主机。可以成功执行kinit命令，使用klist查看认证结果。

1. 配置Hadoop

把客户提供的三个*-site.xml文件上传到/usr/local/hadoop-2.7.2/etc/hadoop目录下。

1. 配置Spark

解压后无需额外配置。

• 验证

1. 使用hdfs验证

执行以下命令：

启用kerberos认证：kinit –kt kerberos认证文件 principal名字

hdfs dfs –ls /tmp

1. 使用spark-submit验证

Client模式：

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client $SPARK_HOME/examples/jars/spark-examples_2.11-2.3.0.jar

 

Cluster模式：

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster $SPARK_HOME/examples/jars/spark-examples_2.11-2.3.0.jar