hadoop 3.3.3集群安装部署

前言

大数据开发涉及的组件和方向比较多，由于之前项目使用的都是成熟的大数据产品CDH或者HDP，里面封装了多个大数据组件，对于企业而言，无论是体验还是维护都比较友好，但对于开发人员来说，太过于集成，反而不太好了解各个组件具体的配置细节，本篇文章就从hadoop开始来深入探讨。

---

提示：以下案例仅供参考

一、hadoop简介

hadoop从发布至今，已经更新到第三个大版本，除了从1.0到2.0版本有着非常大的改进更新外，到3.0后的版本都是不断的改善优化。1.0版本yarn和mr引擎都是在一起的，对于资源的调优不透明也不太便利，2.0版本后yarn和mr引擎解耦，用户可用根据自身环境资源的情况自行配置参数调优，mr专门负责处理计算，yarn专门负责资源管理，另外还增强了高可用性以及hdfs响应速度等，之后的版本就没怎么关注，也没怎么听过关于hadoop的一些特别大的改进，如有疏漏的地方，大家可用及时补充讨论。

二、准备步骤

1.服务器分配

提示：也可用根据自身情况创建三台虚拟机

        Node1	   Node2  	  Node3
cpu	    16core	   16core	  16core
内存	32G	       32G	      32G
硬盘	500G	   500G	      500G	
OS      centos7	   centos7    centos7

2.安装jdk

安装步骤跟之前的文章类似，都是下载好对应系统的安装包，然后解压安装，由于我这边的服务器环境系统是centos，所以安装包以xxx.tar.gz结尾（.rpm格式的也可以安装，但安装路径是默认的，为了方便指定路径安装，所以现在tar格式安装包），到安装路径下，执行命令 tar -zxvf jdk-8u391-linux-x64.tar.gz 解压，

3.配置环境变量

不知道大家平时都喜欢怎样配置环境变量，我一般都是在/etc/profile.d/目录下创建一个xxx.sh文件保存所有的环境变量配置，以避免配置文件的冲突，其实仔细看下/etc/profile里面的代码可以知道，其实每次读取环境变量时，是会遍历/etc/profile.d目录下的所有sh文件，因此可以在/etc/profie.d目录下建立个人的环境变量配置

提示：以下是我在/etc/profile.d目录下创建的my_env.sh

4.免密登录

做免密登录是为了节点之间能够相互访问，以及主备切换等，先将各个节点的主机名（可通过hostname命令查看，如果觉得主机名不合适，可通过hostname-ctl set-hostname xxx来修改主机名）添加到/etc/hosts文件中，然后分别在三台机器上执行ssh-keygen -t rsa生成公钥和私钥（可通过ls ~/.ssh命令查看生成的密钥，如果服务器上没有ssh服务，可通过yum -y install openssh openssh-clients openssh-server 命令安装ssh服务)，接着执行ssh-copy-id cdp1 ssh-copy-id cdp2 ssh-copy-id cdp3，拷贝到目标服务器
提示：sh-keygen -t rsa 和 ssh-copy-id cdp1 ssh-copy-id cdp2 ssh-copy-id cdp3三台机器都需要执行

提示：ip地址做了涂抹，可根据自身环境信息进行更改

三、hadoop安装

1.下载安装包

登录hadoop官网地址 https://hadoop.apache.org/releases.html，下载hadoop安装包hadoop-3.3.3.tar.gz，执行解压命令tar -zxvf hadoop-3.3.3.tar.gz到指定安装目录，然后将安装目录添加到环境变量，此处跟上一步功能类似。

#hadoop
export HADOOP_HOME=/application/soft/hadoop-3.3.3
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.hadoop配置

hadoop中需要配置的文件有四个，分别是core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml，以下是各个文件的配置详情
1.core-site.xml

<configuration>
<!-- 把多个NameNode的地址组装成一个集群mycluster -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://cdp1:8020</value>
  </property>
<!-- 指定hadoop运行时产生的文件的存储目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/application/soft/hadoop-3.3.3/data</value>
  </property>
  <!-- 表示代理用户的组所属-->
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
  <!-- 表示任意节点使用hadoop集群的代理用户 hadoop都能访问hdfs集群-->
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
</configuration>

2.hdfs-site.xml

<configuration>
<!-- 不开启权限检查 -->
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
  </property>
<!--nn web端访问地址 -->
  <property>
    <name>dfs.namenode.http-address</name>
    <value>cdp1:9870</value>
  </property>
<!--2nn web端访问地址-->
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>cdp3:9868</value>
  </property>
  </configuration>

3.yarn-site.xml

<configuration>
<!-- 指定MR走shuffle -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
<!--指定ResourceManager地址-->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>cdp2</value>
  </property>
<!--环境变量的继承-->
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
</configuration>

4.mapred.xml

<configuration>
  <!-- 指定Mapreduce程序运行在Yarn上-->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

3.namenode初始化

执行hdfs namenode -format命令，对namenode进行初始化，看到输出信息有"successfully formatted"字样，则证明初始化成功

4.启动服务

进入hadoop安装目录，比如我的安装目录是/application/soft/hadoop-3.3.3，然后执行 sbin/start-dfs.sh，启动namenode、secondarynamenode、datanode进程,可通过jps命令查看，因为我的配置文件中写的是节点2作为yarn的资源管理器，所以在节点2执行sbin/start-yarn.sh命令启动resourcemanager、nodemanager进程，可通过jps命令查看进程，然后打开浏览器，输入地址http://cdp1:9870,查看是否能正常访问，也可以通过命令hds dfsadmin -report命令，根据报告信息查看是否正常。
提示：此处地址可根据自身环境不同，自行修改

总结

至此，三个节点的hadoop集群已经搭建完成，当然，其中还有很多待完善的地方，比如HA高可用，history服务等配置，由于本篇文章旨在介绍hadoop的安装部署，该集群也是为了后续的技术测试及验证，加上时间有限，目前就写到这里，欢迎大家一起来积极讨论交流。