阿里腾讯云 hadoop+spark集群搭建（1）

阿里腾讯云 hadoop+spark集群搭建（1）

linux版本： centos7

hadoop版本： 3.1.1

手上有三台学生机，完全没动过的：一台是阿里云服务器，两台是腾讯云。

用阿里云做namenode，腾讯云做datanode。

目标是搭好hdfs和yarn，后面搭spark和hive。

---

1. 更新和下载软件包。安装jdk 版本为1.8.0

   $ sudo yum -y update
   $ sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel.x86_64 net-tools rsync mlocate wget vim gcc zlib-dev openssl-devel sqlite-devel bzip2-devel python-devel 

   这里通过yum安装的jdk路径默认是在 /usr/lib

   查找方法为：

   $ whereis java  
   （返回java: /usr/bin/java /usr/lib/java /etc/java....）
   $ ll /usr/bin/java  
   （返回/usr/bin/java -> /etc/alternatives/java，是软链接）
   $ ll /etc/alternatives/java 
   （返回/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64/jre/bin/java）

   由于系统中可能有多版本的jdk，/etc/alternatives/java软链接用于指定真正使用的jdk版本。

   /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64就是安装的位置。

2. 设置安全规则（针对namenode）

   上阿里云加入安全组规则，由于是作学习用，直接加入规则

   端口范围： 1/65530  授权对象：0.0.0.0/0 

3. 关闭防火墙

   $ sudo systemctl stop firewalld.service 
   $ sudo systemctl disable firewalld.service

4. 修改hosts文件，这里要注意！

   阿里云namenode，其hosts如下：

   111.**.**.*8   slave1  （这里写的是腾讯云服务器的外网IP）
   134.**.**.*16  slave2  （这里写的是腾讯云服务器的外网IP）
   192.**.*.*12   master  （这里写的是阿里云服务器的内网IP）

   腾讯云的两台datanode，其hosts如下：

   39.**.2**.*2 master    （这里写的是阿里云服务器的外网IP）
   172.**.*.9 slave1      （这里写的是腾讯云服务器的外网IP）
   172.**.*.7 slave2       (这里写的是腾讯云服务器的外网IP）

5. 建立新用户并赋予其权限

   $ adduser hadoop
   $ passwd hadoop
   (输入hadoop用户的密码)
   $ su hadoop

   此时从root身份切换到hadoop。

6. 设置ssh免密登陆

   每台机器生成公私钥，namenode把自己的公钥拷到两个datanode中。datanode把自己的公钥拷到namenode中，并将可靠的公钥信息写入/.ssh/authorized_keys文件中。

7. 下载hadoop并解压缩，并建立所需文件夹

   $ curl -O https://www-us.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
   $ mkdir hadoop
   $ tar -zxvf hadoop-3.1.1.tar.gz -C ~/hadoop/
   $ cd hadoop/hadoop-3.1.1
   <!--在Hadoop目录下建立tmp、dfs文件夹，并在dfs文件夹下建立data和name-->
   <!--tmp用于存放缓存，dfs设置为hdfs信息的存放路径-->
   $ mkdir tmp & mkdir dfs
   $ cd dfs
   $ mkdir data & mkdir name

8. 配置文件与环境变量

   配置core-site.xml、hdfs-site.xml、yarn-site.xml、workers、hadoop-env.sh。

    

   • core-site.xml

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://master:9000/</value>
         </property>
         <property>
              <name>hadoop.tmp.dir</name>
             <value>/home/hadoop/hadoop/hadoop-3.1.1/tmp/</value>
         </property>
     </configuration>

   • hdfs-site.xml

     <configuration>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/home/hadoop/hadoop/hadoop-3.1.1/dfs/name</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/home/hadoop/hadoop/hadoop-3.1.1/dfs/data</value>
         </property>
         <property>
             <name>dfs.http.address</name>
             <value>0.0.0.0:50070</value>
         </property>
         <property>
             <name>dfs.namenode.secondary.http-address</name>
             <value>master:9001</value>
         </property>
         <property>
         <name>dfs.webhdfs.enabled</name>
         <value>true</value>
         </property>
     </configuration>

   • yarn-site.xml

     <configuration>
          <property>
              <name>yarn.resourcemanager.hostname</name>
             <value>master</value>
         </property>
         <property>
             <name>yarn.resourcemanager.webapp.address</name>
             <value>master:8088</value>
         </property>
         <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
     </configuration>

   • hadoop-env.sh

     在第54行处加入JAVA_HOME变量。

     # The java implementation to use. By default, this environment
     # variable is REQUIRED on ALL platforms except OS X!
     export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64/jre

   • workers

     slave1
     ​
     slave2

   接下来，在/etc/profile.d下新建两个脚本 jdk-1.8.sh 和 hadoop-3.1.1.sh 。

   • jdk-1.8.sh

     # !/bin/sh
     export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64
     export JRE_HOME=${JAVA_HOME}/jre
     export PATH=${JRE_HOME}/bin:$PATH
     (因为java是在$JAVA_HOME/jre/bin之中的，所以PATH中不是$JAVA_HOME而是$JRE_HOME)

   • hadoop-3.1.1.sh

     #!/bin/sh
     export HADOOP_HOME="/home/hadoop/hadoop/hadoop-3.1.1"
     export PATH="$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH"
     export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
     export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

   $ source /etc/profile 

   这样每次服务器启动，都会自动运行这两个脚本，设置好相关的环境变量。

9. 格式化hdfs并开启（在namenode上）

   $ hdfs namenode -format
   $ start-all.sh
   <!-- 启动... -->

   成功的话，namenode中执行jps命令会显示4个进程：

   $ jps
   11270 SecondaryNameNode
   26747 Jps
   11052 NameNode
   11487 ResourceManager

   datanode中执行jps命令会显示3个进程：

   $ jps
   18468 DataNode
   23029 Jps
   18605 NodeManager

   访问namenode公网的8088端口，Active Nodes 显示为2。

   访问namenode公网的50070端口，

   完成。

---

如果namenode或者datanode在启动时碰到问题，就使用对应的机器进入到其hadoop目录下的logs文件夹中查看日志信息，再根据日志信息去解决问题。

注意一个问题：

如果你执行了多次hdfs namenode -format，会出现datanode无法成功启动的情况，此时50070页面Live Nodes为0，8088页面为2。

原因是该命令清空了hadoop目录下dfs/data下的数据，但是对于datanode却没有，导致版本对不上号，解决办法是：删除datanode中dfs/data下的数据，重新启动。不要随意执行namenode的format命令。