Centos7环境Hadoop3集群搭建

Centos 7 环境 hadoop 3.2.1分布式集群搭建

由于项目需要存储历史业务数据，经过评估数据量会达到100亿以上，在原有mongodb集群和ES集群基础上，需要搭建Hbase集群进行调研，所以首先总结一下Hadoop集群的搭建过程。

一、三个节点的集群规划：

hostname(IP)	node21(10.10.26.21)	node245(10.10.26.245)	node255(10.10.26.255)
HDFS	NameNode、DataNode	DataNode	DataNode、SecondaryNameNode
YARN	ResourceManager、NodeManager	NodeManager	NodeManager

二、安装java1.8

请官网下载jdk1.8安装包,参考链接：

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

tar -zxvf jdk-8u191-linux-x64.tar.gz
mv jdk1.8.0_191 jdk1.8

配置/etc/profile，追加如下内容：

export JAVA_HOME=/opt/jdk1.8
export JRE_HOME=$JAVA_HOME/jre
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar

配置生效

source /etc/profile

三、配置hosts文件

三台机器分别执行下列命令

vim /etc/hosts

#添加如下内容
10.10.26.21 node21
10.10.26.245 node245
10.10.26.255 node255

四、设置3台机器之间无密码访问

三台机器分别执行下列命令

#生成公钥
#一直回车，设置为默认值即可
ssh-keygen -t rsa  

生成公钥后，分发到3台机器上
ssh-copy-id node21
ssh-copy-id node245
ssh-copy-id node255

五、下载Hadoop安装包并进行配置

1、下载包地址：

mkdir -p /opt/hadoop
cd /opt/hadoop/
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

tar -zxvf hadoop-3.2.1.tar.gz

2、修改Hadoop环境变量

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/hadoop-env.sh

##追加内容
export JAVA_HOME=/opt/jdk1.8
 
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
 
export HADOOP_PID_DIR=/var/hadoopdata/pids
export HADOOP_LOG_DIR=/var/hadoopdata/logs

3、修改core-site.xml

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/core-site.xml

<configuration>
 
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node21:8020</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoopdata/tmp</value>
</property>
 
</configuration>

3、修改HDFS的配置文件

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/hdfs-site.xml

<configuration>
   <property>
             <name>dfs.namenode.secondary.http-address</name>
             <value>node255:50090</value>
   </property>
   <property>
             <name>dfs.replication</name>
             <value>2</value>
   </property>
   <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/var/data/hadoop/hdfs/name</value>
   </property>
   <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/var/data/hadoop/hdfs/data</value>
   </property>
 
<property>
  <name>dfs.namenode.http-address</name>
  <value>node21:8084</value>
</property>
 
</configuration>

注意这里的8084 即是HDFS web 页面的监听端口

4、配置worker文件

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/workers

##追加内容
node21
node245
node255

5、配置yarn-site.xml

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   <property>
      <name>yarn.nodemanager.localizer.address</name>
      <value>0.0.0.0:8140</value>
   </property>
   <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>node21</value>
   </property>
   <property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
   </property>
   <property>
       <name>yarn.log-aggregation.retain-seconds</name>
       <value>604800</value>
   </property>
   <property>
       <name>yarn.log.server.url</name>
       <value>http://node255:19888/jobhistory/logs</value>
   </property>
 
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>node21:3206</value>
  </property>
 
 
</configuration>

注意这里3296就是hadoop yarn的web访问端口。

6、配置mapred-site.xml文件

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
 
   <property>
       <name>yarn.app.mapreduce.am.env</name>
       <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-3.2.1</value>
   </property>
   <property>
       <name>mapreduce.map.env</name>
       <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-3.2.1</value>
   </property>
   <property>
       <name>mapreduce.reduce.env</name>
       <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-3.2.1</value>
   </property>
 
   <property>
       <name>mapreduce.jobhistory.address</name>
       <value>node255:10020</value>
   </property>
   <property>
       <name>mapreduce.jobhistory.webapp.address</name>
       <value>node255:19888</value>
   </property>

</configuration>

7、把以上配置完的Hadoop文件夹copy到另两个节点
在node21上执行：

scp -r hadoop-3.2.1 root@node245:/opt/

scp -r hadoop-3.2.1 root@node255:/opt/

9、格式化HDFS的namenode节点
因为node21节点是namenode服务所在服务器，所以在node21上执行：

[root@node21 hadoop]# hdfs namenode -format

六、启动Hadoop集群

在三台机器上分别执行

vim /etc/profile

添加以下内容

#Hadoop config
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

启动命令

[root@node21 hadoop]# start-all.sh

七、查看节点进程情况，验证是否启动成功

3个节点进程如下：
node21节点包括yarn的NodeManager和ResourceManager两个进程，hdfs的NameNode和DataNode两个进程。

[root@node21 logs]# jps -l
18470 org.apache.hadoop.hdfs.server.datanode.DataNode
19144 org.apache.hadoop.yarn.server.nodemanager.NodeManager
18940 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
18269 org.apache.hadoop.hdfs.server.namenode.NameNode
19629 sun.tools.jps.Jps

node245节点包括yarn的NodeManager进程，hdfs的DataNode进程。

[root@node245 opt]# jps -l
10689 org.apache.hadoop.hdfs.server.datanode.DataNode
10947 sun.tools.jps.Jps
10810 org.apache.hadoop.yarn.server.nodemanager.NodeManager

node255节点包括yarn的NodeManager进程，hdfs的DataNode和SecondaryNameNode两个进程。

[root@node255 hadoop-3.2.1]# jps -l
20151 sun.tools.jps.Jps
19768 org.apache.hadoop.hdfs.server.datanode.DataNode
19976 org.apache.hadoop.yarn.server.nodemanager.NodeManager
19886 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
[root@node255 hadoop-3.2.1]# 

说明Hadoop已经正常启动了。

访问位置：

1、HDFS访问位置：http://10.10.26.21:8084/

可查看数据节点的信息：我的3个节点的硬盘每个都是160G。

HDFS空间：473G

2、Yarn页面访问位置：http://10.10.26.21:3206/cluster

以上完成了Hadoop安装，主要是HDFS和YARN相关的多个服务进程。

下一篇将继续基于Hadoop集群，来继续完成Hbase集群的搭建工作。

—————END—————
喜欢本文的朋友，欢迎关注、转发、评论，让我们一起成为有智慧的架构师！