Hadoop完全分布式集群搭建_hadoop分布式集群搭建-CSDN博客

本文链接：https://blog.csdn.net/BUGdeQD/article/details/114042614

前言

Hadoop是Java语言编写的，需要Java环境（JVM）
JDK版本：jdk8版本

4.1 单节点启动(已配置环境变量/etc/profile，在任意目录下都可执行)

一、服务器环境准备（在此使用虚拟机）

1.三台虚拟机（静态IP，关闭防火墙，修改主机名，配置免密登陆，集群主机时间同步）

2.在/opt下创文件夹

mkdir /opt/software     --软件包存放目录
mkdir /opt/servers      --软件安装目录

3.Hadoop的下载地址：

https://archive.apache.org/dis/hadoop/common/hadoop-2.9.2/

Hadoop官网地址：

http://hadoop.apache.org/

4.上传Hadoop的安装文件到 /opt/software

二、集群规划

框架	linux161	linux162	linux163
HDFS	NameNode、DataNode	DataNode	SecondaryNameNode、DataNode
YARN	NodeManager	ResourceManager、NodeManager	NodeManager

三、安装Hadoop

登录linux161节点；进入/opt/software,解压安装文件到/opt/servers

tar  -zxvf hadoop-2.9.2.tar.gz  -C  /opt/servers

查看是否解压成功

ll /opt/servers/hadoop-2.9.2

添加Hadoop到环境变量 vim /etc/profile(添加如下内容)

##HADOOP_HOME
export HADOOP_HOME=/opt/servers/hadoop2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使配置的环境变量生效

source /etc/profile

验证Hadoop

hadoop version

[root@linux161 hadoop-2.9.2]# ll
total 132
drwxr-xr-x. 2  501 dialout    194 Nov 13  2018 bin
drwxr-xr-x. 3 root root        17 Dec  6 22:08 data
drwxr-xr-x. 3  501 dialout     20 Nov 13  2018 etc
drwxr-xr-x. 2  501 dialout    106 Nov 13  2018 include
drwxr-xr-x. 3  501 dialout     20 Nov 13  2018 lib
drwxr-xr-x. 3 root root      4096 Jan 30 02:17 logs
drwxr-xr-x. 3  501 dialout   4096 Nov 13  2018 sbin
drwxr-xr-x. 4  501 dialout     31 Nov 13  2018 share
[root@linux161 hadoop-2.9.2]#

1.bin目录：对Hadoop进行操作的相关命令，如hadoop、hdfs等

2.etc目录：Hadoop的配置文件，如hdfs-site.xml,core-site.xml等

3.lib目录：Hadoop的本地库（解压缩的依赖）

4.sbin目录：存放Hadoop集群启动停止的相关脚本、命令

5.share目录：Hadoop的一些jar，官方案例jar，文档等

3.1集群配置

Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 +Yarn集群配置

HDFS集群配置

1.将JDK路径明确配置给HDFS（修改hadoop-env.sh）

[root@linux161 hadoop]# vim hadoop-env.sh 

export JAVA_HOME=/opt/servers/jdk1.8.0_231

2.指定NameNode节点以及数据存储目录（修改core-site.xml）

[root@linux161 hadoop]# vim core-site.xml 

<configuration>
        <!-- 指定HDFS中NameNode的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://linux161:9000</value>
        </property>
        <!-- 指定Hadoop运行时产生文件的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/servers/hadoop-2.9.2/data/tmp</value>
        </property>
</configuration>

3.指定SecondaryNameNode节点（修改hdfs-site.xml）

[root@linux161 hadoop]# vim hdfs-site.xml

<configuration>
        <!-- 指定Hadoop辅助名称节点主机配置 -->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>linux163:50090</value>
        </property>
        <!-- 副本数量 -->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

4.指定DataNode从节点（修改etc/hadoop/slave文件，每个节点配置信息占一行）

[root@linux161 hadoop]# vim slaves 
linux161
linux162
linux163

MapReduce集群配置

1.将JDK路径明确配置给MapReduce（修改mapred-env.sh）

[root@linux161 hadoop]# vim mapred-env.sh

export JAVA_HOME=/opt/servers/jdk1.8.0_231

2.指定MapReduce计算框架运行Yarn资源调度框架（修改mapred-site.xml）

[root@linux161 hadoop]# mv mapred-site.xml.template mapred-site.xml
[root@linux161 hadoop]# vim mapred-site.xml
<configuration>
        <!-- 指定MR运行在Yarn上 -->
        <property>
                 <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <!-- 历史服务器端地址 -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>linux161:10020</value>
        </property>
        <!-- 历史服务器web端地址 -->
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>linux161:19888</value>
        </property>
</configuration>

Yarn集群配置

1.将JDK路径明确配置给Yarn（修改yarn-env.sh）

[root@linux161 hadoop]# vim yarn-env.sh 

export JAVA_HOME=/opt/servers/jdk1.8.0_231

2.指定ResourceManager老大节点所在计算机节点（修改yarn-site.xml）

[root@linux161 hadoop]# vim yarn-site.xml 
<configuration>
        <!-- 指定YARB的ResourceManager的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>linux162</value>
        </property>
        <!-- Redurer获取数据的方式 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <!-- ⽇志聚集功能使能 -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <!-- ⽇志保留时间设置7天 -->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
        <!-- 指定任务调度使用fairScheeduler的调度方式 -->
        <property>
                <name>yarn.resourcemanager.scheduler.class</name>
                <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
                <description>In case you do not want to use the default scheduler</description>
        </property>
        <!--<property>
                <name>mapred.child.java.opts</name>
                <value>-Xmx3096m</value>
        </property>-->
</configuration>

3.指定NodeManager节点（会通过slave文件内容确定）

注意：

Hadoop安装目录所属用户和所属用户组信息，默认是501 dialout，而我们操作Hadoop集群的用户使用的是虚拟机的root用户，所以为了避免出现信息混乱，修改Hadoop安装目录所属用户和用户组！！

[root@linux161 hadoop]# chown -R root:root /opt/servers/hadoop-2.9.2

3.2分发配置至集群其它节点

使用rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。
基本语法：

rsync  -rvl  $pdir/$filename   $user@$host:$pdir/$filename

命令选项参数要拷贝的文件路径/文件名称目的用户@主机：目的路径/文件名称

选项参数说明

选项	功能
-r	递归
-v	显示复制过程
-l	拷贝符号链接

案例

三台机器安装rsync

[root@linux161 hadoop]# yum install -y rsync

3.2.1 将linux161机器上的/opt/servers/hadoop-2.9.2 目录拷贝复制到linux162、linux163机器对应目录（集群信息）

[root@linux161 opt]# rsync -rvl /opt/servers root@linux162:/opt/servers
[root@linux161 opt]# rsync -rvl /opt/servers root@linux163:/opt/servers

3.2.2 将linux161机器上的/etc/profile 内新增数据拷贝复制到linux162、linux163机器对应目录（环境变量信息）

[root@linux161 opt]# rsync -rvl /etc/profile root@linux162:/etc/profile
[root@linux161 opt]# rsync -rvl /etc/profile root@linux163:/etc/profile

环境变量修改后需要使其生效(linux162\linux163机器)

[root@linux162 opt]# source /etc/profile
[root@linux163 opt]# source /etc/profile

四、启动集群

注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode,非第一次不用执行格式化NameNode操作

4.1 单节点启动(已配置环境变量/etc/profile，在任意目录下都可执行)

##格式化NameNode
[root@linux161 opt]# hadoop namenode -format

4.1.1 在linux161上启动NameNode

[root@linux161 opt]# hadoop-daemon.sh start namenode
[root@linux161 opt]# jps -l
70354 org.apache.hadoop.hdfs.server.datanode.DataNode
70120 org.apache.hadoop.hdfs.server.namenode.NameNode
72056 sun.tools.jps.Jps

4.1.2 在linux162、linux163上分别启动NameNode

[root@linux162 opt]# hadoop-daemon.sh start datanode 
[root@linux162 opt]# jps -l
71721 sun.tools.jps.Jps
66157 org.apache.hadoop.hdfs.server.datanode.DataNode

[root@linux163 opt]# hadoop-daemon.sh start datanode 
[root@linux163 opt]# jps -l
76900 org.apache.hadoop.hdfs.server.datanode.DataNode
81144 sun.tools.jps.Jps
77083 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode

4.1.3 web 端查看hdfs

http://linux161:50070/dfshealth.html#tab-overview

4.1.4 Yarn节点集群启动

[root@linux161 opt]# yarn-daemon.sh start nodemanager
[root@linux161 opt]# jps -l
71570 org.apache.hadoop.yarn.server.nodemanager.NodeManager
70354 org.apache.hadoop.hdfs.server.datanode.DataNode
70120 org.apache.hadoop.hdfs.server.namenode.NameNode
72056 sun.tools.jps.Jps

[root@linux162 opt]# yarn-daemon.sh start resourcemanager
[root@linux162 opt]# jps -l
71523 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
70354 org.apache.hadoop.hdfs.server.datanode.DataNode
71673 org.apache.hadoop.yarn.server.nodemanager.NodeManager
70120 org.apache.hadoop.hdfs.server.namenode.NameNode
9946 sun.tools.jps.Jps

[root@linux163 opt]# yarn-daemon.sh start nodemanager
[root@linux163 opt]# jps -l
71570 org.apache.hadoop.yarn.server.nodemanager.NodeManager
76900 org.apache.hadoop.hdfs.server.datanode.DataNode
81144 sun.tools.jps.Jps
77083 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode

4.2 集群群起

4.2.1 如果已经单节点方式启动了Hadoop，可以先停止之前的NameNode与DataNode进程，如果之前NameNode没有进行格式化，这儿需要进行格式化！！

[root@linux161 opt]# hadoop namenode -format

4.2.2 集群启动(注意:dfs应在NameNode所在机器节点启动。yarn应在ResourceManager所在节点启动)

[root@linux161 opt]# start-dfs.sh
[root@linux162 opt]# start-yarn.sh

[root@linux161 opt]# jps -l
71570 org.apache.hadoop.yarn.server.nodemanager.NodeManager
70354 org.apache.hadoop.hdfs.server.datanode.DataNode
70120 org.apache.hadoop.hdfs.server.namenode.NameNode
72056 sun.tools.jps.Jps

[root@linux162 opt]# jps -l
71523 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
70354 org.apache.hadoop.hdfs.server.datanode.DataNode
71673 org.apache.hadoop.yarn.server.nodemanager.NodeManager
70120 org.apache.hadoop.hdfs.server.namenode.NameNode
9946 sun.tools.jps.Jps

[root@linux163 opt]# jps -l
71570 org.apache.hadoop.yarn.server.nodemanager.NodeManager
76900 org.apache.hadoop.hdfs.server.datanode.DataNode
81144 sun.tools.jps.Jps
77083 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode

4.3 hadoop 集群启停命令汇总

4.3.1 单节点启停

hadoop-daemon.sh start / stop  namenode / datanode /secondarynamenode
yarn-daemon.sh start / stop resourcemanager /nodemanager

4.3.2 整体启停

start-dfs.sh / stop-dfs.sh
start-yarn.sh / stop-yarn.sh

五、集群测试

1.HDFS分布式存储初体验

从Linux本地上传下载文件验证hdfs集群是否工作正常

#hdfs创建文件夹，-mkdir创建，-p创建多层
[root@linux162 opt]# hdfs dfs -mkdir -p /test/input
[root@linux162 root]# cd /root
[root@linux162 root]# vim test
hello hdfs
#上传文件到hdfs
[root@linux162 root]# hdfs dfs -put /root/test.txt /test/input
#从hdfs下载文件到Linux本地
[root@linux162 root]# hdfs dfs -get  /test/input/test.txt

2.MapReducef分布式计算初体验

2.1 在hdfs文件系统根目录下面创建一个wcinput文件夹

[root@linux162 root]# hdfs dfs -mkdir /wcinput

2.2 在root目录下创建一个wc.txt文件

[root@linux162 root]# vim wc.txt
hadoop mapreduce yarn
hdfs hadoop mapreduce
mapreduce yarn

: wq!

2.3 上传wc.txt到hdfs目录/wcinput下

hdfs dfs -put wc.txt /wcinput

2.4 回到hadoop目录 /opt/servers/hadoop-2.9.2，执行程序

[root@linux162 hadoop-2.9.2]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput

2.5 查看计算结果

[root@linux162 hadoop-2.9.2]# hdfs dfs -cat /wcoutput/part-r-00000
hadoop  2 
hdfs    1 
mapreduce       3 
yarn    2

六、配置历史服务器

在yarn中运行的任务产生的历史数据不能查看，为了查看程序的历史运行情况，需要设置历史服务器。集体步骤如下：

6.1 配置mapred-site.xml

[root@linux162 hadoop-2.9.2]# vim mapred-site.xml
<!-- 历史服务器端地址 -->
<property>  
    <name>mapreduce.jobhistory.address</name>  
    <value>linux161:10020</value> 
</property>
<!-- 历史服务器web端地址 -->
<property>    
    <name>mapreduce.jobhistory.webapp.address</name>    
    <value>linux161:19888</value>
</property>

6.2 分发配置到其他节点

[root@linux161 opt]# rsync -rvl /opt/servers root@linux162:/opt/servers
[root@linux161 opt]# rsync -rvl /opt/servers root@linux163:/opt/servers

6.3 启动历史服务器

[root@linux161 opt]# mr-jobhistory-daemon.sh start historyserver
[root@linux161 opt]# jps -l
10020 org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer

6.4 查看历史服务器

http://linux161:19888/jobhistory

Hadoop完全分布式集群搭建

一、服务器环境准备（在此使用虚拟机）

二、集群规划

三、安装Hadoop

3.1集群配置

3.2分发配置至集群其它节点

四、启动集群

4.1 单节点启动(已配置环境变量/etc/profile，在任意目录下都可执行)

4.2 集群群起

4.3 hadoop 集群启停命令汇总

五、集群测试

1.HDFS分布式存储初体验

2.MapReducef分布式计算初体验

六、配置历史服务器

“相关推荐”对你有帮助么？