2 Hadoop 环境配置

完全分布式集群搭建

• 软件和操作系统版本
  Hadoop框架是采⽤Java语⾔编写，需要java环境（jvm）
  JDK版本：JDK8版本
  集群：
  知识点学习：统⼀使⽤vmware虚拟机虚拟三台linux节点，linux操作系统：Centos7
  项⽬阶段：统⼀使⽤云服务器，5台云服务器节点
• Hadoop搭建⽅式
  单机模式：单节点模式，⾮集群，⽣产不会使⽤这种⽅式
  单机伪分布式模式：单节点，多线程模拟集群的效果，⽣产不会使⽤这种⽅式
  完全分布式模式：多台节点，真正的分布式Hadoop集群的搭建（⽣产环境建议使⽤这种⽅式）

2.1 虚拟机环境准备

1 三台虚拟机（静态IP，关闭防⽕墙，修改主机名，配置免密登录，集群时间同步）

2. 在/opt⽬录下创建⽂件夹

mkdir -p /opt/lagou/software --软件安装包存放⽬录
mkdir -p /opt/lagou/servers --软件安装⽬录

3 Hadoop下载地址：
https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/

Hadoop官⽹地址：
http://hadoop.apache.org/

4 上传hadoop安装⽂件到/opt/lagou/software

2.2 集群规划

2.3 安装Hadoop

• 登录linux121节点；进⼊/opt/lagou/software,解压安装⽂件到/opt/lagou/servers

tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers

• 查看是否解压成功

ll /opt/lagou/servers/hadoop-2.9.2

• 添加Hadoop到环境变量 vim /etc/profile

vim /etc/profile

##HADOOP_HOME
export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

• 使环境变量⽣效

source /etc/profile

• 验证hadoop

hadoop version

校验结果：

• hadoop⽬录

drwxr-xr-x. 2 root root 194 Nov 13 2018 bin
drwxr-xr-x. 3 root root 20 Nov 13 2018 etc
drwxr-xr-x. 2 root root 106 Nov 13 2018 include
drwxr-xr-x. 3 root root 20 Nov 13 2018 lib
drwxr-xr-x. 2 root root 239 Nov 13 2018 libexec
-rw-r--r--. 1 root root 106210 Nov 13 2018 LICENSE.txt
-rw-r--r--. 1 root root 15917 Nov 13 2018 NOTICE.txt
-rw-r--r--. 1 root root 1366 Nov 13 2018 README.txt
drwxr-xr-x. 3 root root 4096 Nov 13 2018 sbin
drwxr-xr-x. 4 root root 31 Nov 13 2018 share

1. bin⽬录:对Hadoop进⾏操作的相关命令，如hadoop,hdfs等
2. etc⽬录：Hadoop的配置⽂件⽬录，⼊hdfs-site.xml,core-site.xml等
3. lib⽬录：Hadoop本地库（解压缩的依赖）
4. sbin⽬录：存放的是Hadoop集群启动停⽌相关脚本，命令
5. share⽬录：Hadoop的⼀些jar,官⽅案例jar，⽂档等

2.4 集群配置

Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置

• HDFS集群配置
  1. 将JDK路径明确配置给HDFS（修改hadoop-env.sh）
  2. 指定NameNode节点以及数据存储⽬录（修改core-site.xml）
  3. 指定SecondaryNameNode节点（修改hdfs-site.xml）
  4. 指定DataNode从节点（修改etc/hadoop/slaves⽂件，每个节点配置信息占⼀⾏）
• MapReduce集群配置
  1. 将JDK路径明确配置给MapReduce（修改mapred-env.sh）
  2. 指定MapReduce计算框架运⾏Yarn资源调度框架（修改mapred-site.xml）
• Yarn集群配置
  1. 将JDK路径明确配置给Yarn（修改yarn-env.sh）
  2. 指定ResourceManager⽼⼤节点所在计算机节点（修改yarn-site.xml）
  3. 指定NodeManager节点（会通过slaves⽂件内容确定）

集群配置具体步骤：

HDFS集群配置

cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop

• 配置：hadoop-env.sh
  将JDK路径明确配置给HDFS

vim hadoop-env.sh
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

• 指定NameNode节点以及数据存储⽬录（修改core-site.xml）

vim core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://linux121:9000</value>
</property>

<!-- 指定Hadoop运⾏时产⽣⽂件的存储⽬录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
</property>

core-site.xml的默认配置：

https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/coredefault.xml

• 指定secondarynamenode节点(修改hdfs-site.xml)

vim hdfs-site.xml


<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>linux123:50090</value>
</property>

<!--副本数量 -->
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>

官⽅默认配置

https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoophdfs/hdfs-default.xml

指定datanode从节点(修改slaves⽂件，每个节点配置信息占⼀⾏)

vim slaves


linux121
linux122
linux123

注意：该⽂件中添加的内容结尾不允许有空格，⽂件中不允许有空⾏。

MapReduce集群配置

• 指定MapReduce使⽤的jdk路径（修改mapred-env.sh）

vim mapred-env.sh


export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

• 指定MapReduce计算框架运⾏Yarn资源调度框架(修改mapred-site.xml)

mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<!-- 指定MR运⾏在Yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

mapred-site.xml默认配置

https://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoopmapreduce-client-core/mapred-default.xml

Yarn集群配置

指定JDK路径

vim yarn-env.sh


export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

• 指定ResourceMnager的master节点信息(修改yarn-site.xml)

vim yarn-site.xml


<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>linux123</value>
</property>

<!-- Reducer获取数据的⽅式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

yarn-site.xml的默认配置

https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarndefault.xml

• 指定NodeManager节点（slaves⽂件已修改）

注意：
Hadoop安装⽬录所属⽤户和所属⽤户组信息，默认是501 dialout，⽽我们操作Hadoop集群的⽤户使⽤的是虚拟机的root⽤户，所以为了避免出现信息混乱，修改Hadoop安装⽬录所属⽤户和⽤户组！！

chown -R root:root /opt/lagou/servers/hadoop-2.9.2

2.5 分发配置

编写集群分发脚本rsync-script

• rsync 远程同步⼯具
  rsync主要⽤于备份和镜像。具有速度快、避免复制相同内容和⽀持符号链接的优点。
  rsync和scp区别：⽤rsync做⽂件的复制要⽐scp的速度快，rsync只对差异⽂件做更新。scp是把所有⽂件都复制过去。

1. 基本语法

rsync -rvl $pdir/$fname $user@$host:$pdir/$fname

命令 选项参数 要拷⻉的⽂件路径/名称 ⽬的⽤户@主机:⽬的路径/名称

rsync案例

1. 三台虚拟机安装rsync (执⾏安装需要保证机器联⽹)

[root@linux121 ~]# yum install -y rsync

2.把linux121机器上的/opt/lagou/software⽬录同步到linux122服务器的root⽤户下的/opt/⽬录

[root@linux121 opt]$ rsync -rvl /opt/lagou/software/
root@linux122:/opt/lagou/software

集群分发脚本编写

1. 需求：循环复制⽂件到集群所有节点的相同⽬录下
   rsync命令原始拷⻉：

rsync -rvl /opt/module root@linux123:/opt/

2. 期望脚本
   脚本+要同步的⽂件名称
3. 说明：在/usr/local/bin这个⽬录下存放的脚本，root⽤户可以在系统任何地⽅直接执⾏。
4. 脚本实现
   （1）在/usr/local/bin⽬录下创建⽂件rsync-script，⽂件内容如下：

[root@linux121 bin]$ touch rsync-script
[root@linux121 bin]$ vim rsync-script

#!/bin/bash
#需求：循环复制文件到集群所有节点的相同目录下
#使用方式：脚本+需要复制的文件名称
#脚本编写大致步骤
#1 获取命令输入参数的个数，如果个数为0，直接退出命令

paramnum=$#
if((paramnum==0));
then
	echo no args;
exit;
fi

#2 获取文件名称

p1=$1
file_name=`basename $p1`
echo fname=${file_name}

#3 获取到文件的绝对路径，获取文件的目录信息

dir_name=`cd -P $(dirname $p1);pwd`
#dir_name=`dirname $p1`
echo dirname=${dir_name}

#4 获取当前用户信息

user=`whoami`

#5 执行rsync命令，循环执行

for((host=121; host<124; host++)); 
do
echo ------------------- linux$host --------------
rsync -rvl ${dir_name}/${file_name} ${user}@linux${host}:${dir_name}
done

（2）修改脚本 rsync-script 具有执⾏权限

[root@linux121 bin]$ chmod 777 rsync-script

（3）调⽤脚本形式：rsync-script ⽂件名称

[root@linux121 bin]$ rsync-script /home/root/bin

(4) 调⽤脚本分发Hadoop安装⽬录到其它节点

[root@linux121 bin]$ rsync-script /opt/lagou/servers/hadoop-2.9.2

2.6 启动集群

注意：如果集群是第⼀次启动，需要在Namenode所在节点格式化NameNode，⾮第⼀次不⽤执⾏格式化Namenode操作！！

[root@linux121 hadoop-2.9.2]$ hadoop namenode -format

2.6.1 单节点启动

1. 在linux121上启动NameNode

[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start namenode
[root@linux121 hadoop-2.9.2]$ jps

2. 在linux121、linux122以及linux123上分别启动DataNode

[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux121 hadoop-2.9.2]$ jps

3461 NameNode
3608 Jps
3561 DataNode

[root@linux122 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux122 hadoop-2.9.2]$ jps

3190 DataNode
3279 Jps

[root@linux123 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux123 hadoop-2.9.2]$ jps

3237 Jps
3163 DataNode

3. web端查看Hdfs界⾯

http://linux121:50070/dfshealth.html#tab-overview

用服务器名字登录需要在本地配置hosts文件

1. Yarn集群单节点启动

[root@linux123 servers]# yarn-daemon.sh start resourcemanager
[root@linux123 servers]# jps

7881 ResourceManager
8094 Jps

[root@linux122 servers]# yarn-daemon.sh start nodemanager
[root@linux122 servers]# jps

8166 NodeManager
8223 Jps

[root@linux121 servers]# yarn-daemon.sh start nodemanager
[root@linux121 servers]# jps

8166 NodeManager
8223 Jps

2.6.2 集群群起

1. 如果已经单节点⽅式启动了Hadoop,可以先停⽌之前的启动的Namenode与Datanode进程,如果
   之前Namenode没有执⾏格式化，这⾥需要执⾏格式化!!!

[root@linux121 hadoop-2.9.2]$ sbin/start-dfs.sh

[root@linux121 hadoop-2.9.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode

[root@linux122 hadoop-2.9.2]$ jps
3218 DataNode
3288 Jps

[root@linux123 hadoop-2.9.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps

启动YARN

[root@linux122 hadoop-2.9.2]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger不是在同⼀台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。

2.6.3 Hadoop集群启动停⽌命令汇总

1. 各个服务组件逐⼀启动/停⽌
   （1）分别启动/停⽌HDFS组件

hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode

（2）启动/停⽌YARN

yarn-daemon.sh start / stop resourcemanager / nodemanager

2. 各个模块分开启动/停⽌（配置ssh是前提）常⽤
   （1）整体启动/停⽌HDFS

start-dfs.sh / stop-dfs.sh

（2）整体启动/停⽌YARN

start-yarn.sh / stop-yarn.sh

2.7 集群测试

1. HDFS 分布式存储初体验
   从linux本地⽂件系统上传下载⽂件验证HDFS集群⼯作正常

hdfs dfs -mkdir -p /test/input
#本地hoome⽬录创建⼀个⽂件
cd /root

vim test.txt

hello hdfs

#上传linxu⽂件到Hdfs
hdfs dfs -put /root/test.txt /test/input

#从Hdfs下载⽂件到linux本地
hdfs dfs -get /test/input/test.txt

2. MapReduce 分布式计算初体验

• 在HDFS⽂件系统根⽬录下⾯创建⼀个wcinput⽂件夹

[root@linux121 hadoop-2.9.2]$ hdfs dfs -mkdir /wcinput

• 在/root/⽬录下创建⼀个wc.txt⽂件(本地⽂件系统)

[root@linux121 hadoop-2.9.2]$ cd /root/
[root@linux121 wcinput]$ touch wc.txt

• 编辑wc.txt⽂件

[root@linux121 wcinput]$ vi wc.txt

• 在⽂件中输⼊如下内容

hadoop mapreduce yarn
hdfs hadoop mapreduce
mapreduce yarn lagou
lagou
lagou

• 保存退出

: wq!

• 上传wc.txt到Hdfs⽬录/wcinput下

hdfs dfs -put wc.txt /wcinput

• 回到Hadoop⽬录/opt/lagou/servers/hadoop-2.9.2
• 执⾏程序

[root@linux121 hadoop-2.9.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput

• 查看结果

[root@linux121 hadoop-2.9.2]$ hdfs dfs -cat /wcoutput/part-r-00000

hadoop 2
hdfs 1
lagou 3
mapreduce 3
yarn 2

2.8 配置历史服务器

在Yarn中运⾏的任务产⽣的⽇志数据不能查看，为了查看程序的历史运⾏情况，需要配置⼀下历史⽇志
服务器。具体配置步骤如下：

1. 配置mapred-site.xml

[root@linux121 hadoop]$ vi mapred-site.xml


<!-- 历史服务器端地址 -->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>linux121:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>linux121:19888</value>
</property>

2. 分发mapred-site.xml到其它节点

rsync-script mapred-site.xml

3. 启动历史服务器

[root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

4. 查看历史服务器是否启动

[root@linux121 hadoop-2.9.2]$ jps

5. 查看JobHistory

http://linux121:19888/jobhistory

2.9 配置⽇志的聚集

⽇志聚集：应⽤(Job)运⾏完成以后，将应⽤运⾏⽇志信息从各个task汇总上传到HDFS系统上。

⽇志聚集功能好处：可以⽅便的查看到程序运⾏详情，⽅便开发调试。

注意：开启⽇志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启⽇志聚集功能具体步骤如下：

1. 配置yarn-site.xml

[root@linux121 hadoop]$ vi yarn-site.xml


<!-- ⽇志聚集功能使能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>

<!-- ⽇志保留时间设置7天 -->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

2.分发yarn-site.xml到集群其它节点

rsync-script yarn-site.xml

3. 关闭NodeManager 、ResourceManager和HistoryManager

[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop resourcemanager
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop nodemanager
[root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver

3. 启动NodeManager 、ResourceManager和HistoryManager

[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh start resourcemanager
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh start nodemanager
[root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

4. 删除HDFS上已经存在的输出⽂件

[root@linux121 hadoop-2.9.2]$ bin/hdfs dfs -rm -R /wcoutput

5. 执⾏WordCount程序

[root@linux121 hadoop-2.9.2]$ hadoop jar share/hadoop/mapreduce/hadoopmapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput

6. 查看⽇志，如图所示
   http://linux121:19888/jobhistory