Spark on Yarn集群环境搭建及example运行一篇搞定

环境准备

• 机器准备 Linux（CentOS7）虚拟机

  10.58.12.170
  10.58.12.171
  10.58.10.129
  tdops
  

• 软件版本

  • jdk 1.8.0_60
  • scala 2.11.12
  • hadoop 3.1.3
  • spark 2.4.6
  • livy 0.7.0

配置hosts

• sudo vim /etc/hosts

  // 添加如下host配置
  10.58.12.171 ailoan-vip-d-012171.hz.td
  10.58.12.170 ailoan-vip-d-012170.hz.td
  10.58.10.129 ailoan-vip-d-010129.hz.td
  

配置三台机器免密登录

1. 安装openssh-server

   sudo yum install openssh-server
   

2. 生成公钥

   ssh-keygen -t rsa # 一路回车
   

3. 公钥互相追加到authorized_keys

4. 测试是否成功

   // 170机器上执行如下，如果成功表示配置完成
   170 > ssh ailoan-vip-d-012171.hz.td 
   

安装JDK

安装Scala

1. 下载安装包

   https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz

2. 将安装包拷贝到目标机器

   scp {username}@localip:/Users/{username}/Downloads/大数据软件/scala-2.11.12.tgz /usr/install/bigdata
   

3. 解压到目标文件

   sudo tar -zxvf scala-2.11.12.tgz .
   

4. 配置环境变量

   # 编辑环境变量
   sudo vim /etc/profile
   
   # 添加如下配置
   export SCALA_HOME=/usr/install/bigdata/scala-2.11.12
   export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin
   
   # 使配置生效
   source /etc/profile
   

5. 测试安装结果

   scala -version
   # 输出以下内容表示成功
   Welcome to Scala 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60).
   

安装Hadoop

1. 下载软件包

   cd /usr/install/bigdata
   
   wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
   

2. 解压到指定目录

   sudo tar -zxvf hadoop-3.1.3.tar.gz 
   

3. 给hadoop目录制定用户

   cd /usr/install/bigdata
   
   # 改变用户及用户组，使得启动hadoop无障碍
   sudo chown -R tdops:users hadoop-3.1.3
   

4. 配置环境变量及应用配置

   • 配置hadoop-env.sh

   # 跳转到hadoop安装目录的配置目录下
   cd /usr/install/bigdata/hadoop-3.1.3/etc/hadoop
   
   vim hadoop-env.sh
   
   # 添加jdk主目录
   export JAVA_HOME=/usr/install/jdk1.8.0_60
   export HADOOP_LOG_DIR=/home/tdops/spark/hadoop-3.1.3/logs
   

   • 配置yarn-evn.sh

   vim yarn-env.sh
   
   # 添加jdk主目录配置
   export JAVA_HOME=/usr/install/jdk1.8.0_60
   

   • 配置core-site.xml

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <!--master的hostname-->
           <value>hdfs://ailoan-vip-d-012170.hz.td:9000/</value>
       </property>
       <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/tdops/spark/hadoop-3.1.3/tmp</value>
       </property>
   </configuration>
   
   

   • 配置hdfs-site.xml

   <configuration>
       <property>
           <name>dfs.namenode.secondary.http-address</name>
           <value>ailoan-vip-d-012170.hz.td:50090</value>
       </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>/home/tdops/spark/hadoop-3.1.3/dfs/name</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>/home/tdops/spark/hadoop-3.1.3/dfs/data</value>
       </property>
       <property>
           <name>dfs.replication</name>
           <value>3</value>
       </property>
   </configuration>
   
   

   • 配置mapred-site.xml

   <configuration>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
   </configuration>
   

   • 配置yarn-site.xml

   <property>
       <name>yarn.nodemanager.aux-services