hadoop3.X学习笔记入门篇-集群搭建

最新推荐文章于 2023-03-30 16:20:41 发布

置顶 404 Not Bug

最新推荐文章于 2023-03-30 16:20:41 发布

阅读量1.4k

点赞数 2

分类专栏：大数据文章标签： hadoop hdfs big data

本文链接：https://blog.csdn.net/weixin_43933478/article/details/121927703

版权

大数据专栏收录该内容

2 篇文章 1 订阅

订阅专栏

hadoop介绍
前置环境
jdk安装
hadoop安装-单机版
hadoop目录结构介绍
Hadoop运行模式
编写集群分发脚本xsync
SSH无密登录配置
完全分布式运行模式-集群搭建（开发重点）
- 1.1 集群规划-配置文件介绍 (了解)
- 1.2 编写配置文件 (重要)
- 1.3 群起集群 (重要)
- 1.4 集群崩溃解决
- 1.5 配置历史服务器
- 1.6 配置日志聚集
hadoop常用命令
hadoop常用脚本
集群时间同步

hadoop介绍

1.1 Hadoop组成（面试重点）

在这里插入图片描述

1.2 HDFS架构概述

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。

1.3 YARN架构概述

Yet Another Resource Negotiator简称YARN ，另一种资源协调者，是Hadoop的资源管理器。

1.4 MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce
1）Map阶段并行处理输入数据
2）Reduce阶段对Map结果进行汇总

1.5 HDFS、YARN、MapReduce三者关系

在这里插入图片描述

前置环境

注：准备三台机器分别为，hadoop102，hadoop103，hadoop104

安装epel-release（软件仓库）
yum install -y epel-release

net-tool：工具包集合，包含ifconfig等命令
yum install -y net-tools

vim：编辑器
yum install -y vim

关闭防火墙，关闭防火墙开机自启
systemctl stop firewalld
systemctl disable firewalld.service

创建atguigu用户，并修改atguigu用户的密码
useradd atguigu
passwd atguigu

配置atguigu用户具有root权限，方便后期加sudo执行root权限的命令
vim /etc/sudoers
修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：
Allow root to run any commands anywhere
root ALL=(ALL) ALL
Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
atguigu ALL=(ALL) NOPASSWD:ALL
注意：atguigu这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了atguigu具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以atguigu要放到%wheel这行下面。

在/opt目录下创建文件夹，并修改所属主和所属组
mkdir /opt/module
mkdir /opt/software
修改module、software文件夹的所有者和所属组均为atguigu用户
chown atguigu:atguigu /opt/module
chown atguigu:atguigu /opt/software

卸载虚拟机自带的JDK
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
rpm -qa：查询所安装的所有rpm软件包
grep -i：忽略大小写
xargs -n1：表示每次只传递一个参数
rpm -e –nodeps：强制卸载软件

修改主机名称
vim /etc/hostname
hadoop102

配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts
vim /etc/hosts
添加如下内容:
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop10

安装JDK

注：所有机器全部安装

链接：jdk-8u212-linux-x64.tar.gz
提取码：qmpv

用XShell传输工具将JDK导入 /opt/software

解压JDK到/opt/module目录下
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量
新建/etc/profile.d/my_env.sh文件
sudo vim /etc/profile.d/my_env.sh
添加如下内容:
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

source一下/etc/profile文件，让新的环境变量PATH生效
source /etc/profile
测试JDK是否安装成功
java -version

安装hadoop

注：所有机器全部都安装

链接：hadoop-3.1.3.tar.gz
提取码：0p69

用XShell传输工具将JDK导入 /opt/software

解压安装文件到/opt/module下面
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

将Hadoop添加到环境变量
打开/etc/profile.d/my_env.sh文件
sudo vim /etc/profile.d/my_env.sh
添加如下内容：
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

让修改后的文件生效
source /etc/profile
测试是否安装成功
hadoop version
Hadoop 3.1.3

Hadoop目录结构介绍

1）Hadoop目录结构

drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 bin
drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 etc
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 include
drwxr-xr-x. 3 atguigu atguigu  4096 5月  22 2017 lib
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 libexec
-rw-r--r--. 1 atguigu atguigu 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 atguigu atguigu   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 atguigu atguigu  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 atguigu atguigu  4096 5月  22 2017 sbin
drwxr-xr-x. 4 atguigu atguigu  4096 5月  22 2017 share

2）重要目录

（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

Hadoop运行模式

1）Hadoop官方网站：http://hadoop.apache.org/
2）Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。
完全分布式模式：多台服务器组成分布式环境。生产环境使用。

编写集群分发脚本xsync

hadoop102: 在**/bin**下 vim xsync

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

修改脚本 xsync 具有执行权限
hadoop102: chmod +x xsync
同步环境变量配置（root所有者）
hadoop102: sudo ./bin/xsync
让环境变量生效
hadoop102: source /etc/profile
将该脚本发放全部机器
hadoop102: xsync /bin/xsync

使用方法如下:
hadoop102: xsync ./a.txt

SSH无密登录配置

注：三台机器全部运行一遍，为接下来集群准备

生成公钥和私钥，然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
ssh-keygen -t rsa
将公钥拷贝到要免密登录的目标机器上
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

完全分布式运行模式-集群搭建（开发重点）

注：上面所有工作全部准备好之后
准备工作如下：
1）准备3台客户机（关闭防火墙、静态IP、主机名称）
2）安装JDK
3）配置环境变量
4）安装Hadoop
5）配置环境变量
6）配置ssh
7）准备xsync同步脚本

1.1集群规划-配置文件介绍(了解)

1）集群规划
在这里插入图片描述

	hadoop102	hadoop103	hadoop104
HDFS	`NameNode` DataNode	DataNode	`SecondaryNameNode` DataNode
YARN	NodeManager	`ResourceManager` NodeManager	NodeManager

注意：
NameNode和SecondaryNameNode不要安装在同一台服务器
ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

2）配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

2.1默认配置文件：
链接：https://pan.baidu.com/s/1ccU6f88Yq5MN2AoQwCdOMQ
提取码：ybb2
2.2 自定义配置文件
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在
$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

1.2 编写配置文件 (重要)

注：所有机器全部配置如下，方式可以手动配置或者使用xsync同步

配置文件位置：cd $HADOOP_HOME/etc/hadoop

（1）核心配置文件 - core-site.xml

hadoop102: vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>

（2）HDFS配置文件 - hdfs-site.xml

hadoop102: vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

（3）YARN配置文件 - yarn-site.xml

hadoop102: vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 HADOOP_MAPRED_HOME -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

（4）MapReduce配置文件 - mapred-site.xml

hadoop102: vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
	<property>
    	<name>mapreduce.jobhistory.address</name>
    	<value>hadoop102:10020</value>
	</property>

	<!-- 历史服务器web端地址 -->
	<property>
    	<name>mapreduce.jobhistory.webapp.address</name>
    	<value>hadoop102:19888</value>
	</property>
</configuration>

在集群上分发配置好的Hadoop配置文件
hadoop102: xsync /opt/module/hadoop-3.1.3/etc/hadoop/

1.3 群起集群（重要）

1）配置workers

hadoop102: vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
在该文件中增加如下内容：
hadoop102
hadoop103
hadoop104
注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件
hadoop102: xsync /opt/module/hadoop-3.1.3/etc

2）启动集群

命令运行路径：cd $HADOOP_HOME/

运行结果通过 jps 命令查看

（1）如果集群是第一次启动,否则跳过第一步，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

hadoop102: hdfs namenode -format

运行结果如下：
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop102/192.168.92.102
************************************************************/

（2）启动HDFS

hadoop102: sbin/start-dfs.sh

运行结果如下：
Starting namenodes on [hadoop102]
Starting datanodes
hadoop104: datanode is running as process 2007. Stop it first.
hadoop103: datanode is running as process 1981. Stop it first.

（3）在配置了ResourceManager的节点（hadoop103）启动YARN

hadoop103: sbin/start-yarn.sh

运行结果如下：
Starting resourcemanager
Starting nodemanagers

（4）Web端查看HDFS的NameNode
（a）浏览器中输入：http://hadoop102:9870
（b）查看HDFS上存储的数据信息

（5）Web端查看YARN的ResourceManager
（a）浏览器中输入：http://hadoop103:8088
（b）查看YARN上运行的Job信息

1.4 集群崩溃解决

1.将data 与 logs文件夹备份压缩
tar -zcvf 备份文件夹/ data
2.停止集群进程
hadoop102: sbin/stop-dfs.sh
hadoop103: sbin/stop-yarn.sh
3.删除所有节点上的 data 与 logs 文件
rm -rf data/ logs/
4.再次运行集群
hadoop102: sbin/start-dfs.sh
hadoop103: sbin/start-yarn.sh

1.5 历史服务器

路径：cd $HADOOP_HOME/etc/hadoop

vim mapred-site.xml

在该文件里面增加如下配置:

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

分发配置:

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

在hadoop102启动历史服务器(通过JPS查看):

mapred --daemon start historyserver

1.6 配置日志聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

在这里插入图片描述
开启日志聚集功能具体步骤如下：
路径：cd $HADOOP_HOME/etc/hadoop

[hadoop102]$ vim yarn-site.xml

在该文件里面增加如下配置:

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

分发配置:

[hadoop102]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

关闭NodeManager 、ResourceManager和HistoryServer

[hadoop103]$ sbin/stop-yarn.sh
[hadoop102]$ mapred --daemon stop historyserver

启动NodeManager 、ResourceManage和HistoryServer

[hadoop103]$ start-yarn.sh
[hadoop102]$ mapred --daemon start historyserver

删除HDFS上已经存在的输出文件

[hadoop102]$ hadoop fs -rm -r /output

执行WordCount程序

[hadoop102]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

查看日志
http://hadoop102:19888/jobhistory

hadoop常用命令

集群操作：

整体启动/停止HDFS
start-dfs.sh/stop-dfs.sh

整体启动/停止YARN
start-yarn.sh/stop-yarn.sh

分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode

启动/停止YARN
yarn --daemon start/stop resourcemanager/nodemanager

文件操作：

创建集群文件夹
hadoop fs -mkdir /input

上传文件
hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
$HADOOP_HOME/wcinput/word.txt: 文件位置
/input: HDFS目标文件位置

查看HDFS文件存储路径
/opt/moudle/hadoop-3.1.3/data/dfs/data/current/BP-1701027906-192.168.92.102->1639464739837/current/finalized/subdir0/subdir0

执行wordcount程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

hadoop常用脚本

注：先配置如下参数再运行脚本，否则报错如下：
ERROR: Attempting to operate on hdfs namenode as root

start-dfs.sh，stop-dfs.sh(在hadoop安装目录的sbin里)两个文件顶部添加以下参数

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

将start-yarn.sh，stop-yarn.sh(在hadoop安装目录的sbin里)两个文件顶部添加以下参数

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

1）集群启动/停止脚本

路径：cd /bin

sudo vim myhadoop.sh

内容如下:

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

使用方法：

myhadoop.sh start/stop

2）查看三台服务器Java进程脚本：jpsall

路径：cd /bin

vim jpsall
内容如下：

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

集群时间同步

hadoop102 时间服务器配置：

hadoop102 时间服务器配置（必须root用户）
查看所有节点ntpd服务状态和开机自启动状态
[@hadoop102 ~]$ sudo systemctl status ntpd
[@hadoop102 ~]$ sudo systemctl start ntpd
[@hadoop102 ~]$ sudo systemctl is-enabled ntpd

修改hadoop102的ntp.conf配置文件
[@hadoop102 ~]$ sudo vim /etc/ntp.conf
修改内容如下：
（a）修改1（授权192.168.10.0-192.168.10.255网段上的所有机器可以从这台机器上查询和同步时间）
#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
为restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
（b）修改2（集群在局域网中，不使用其他互联网上的时间）注释掉
#server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst
（c）添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）
server 127.127.1.0
fudge 127.127.1.0 stratum 10

修改hadoop102的/etc/sysconfig/ntpd 文件
[@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd
增加内容如下:
SYNC_HWCLOCK=yes

重新启动ntpd服务
[@hadoop102 ~]$ sudo systemctl start ntpd
设置ntpd服务开机启动
[@hadoop102 ~]$ sudo systemctl enable ntpd

其他机器配置（必须root用户）：

关闭所有节点上ntp服务和自启动
[@hadoop103 ~]$ sudo systemctl stop ntpd
[@hadoop103 ~]$ sudo systemctl disable ntpd
[@hadoop104 ~]$ sudo systemctl stop ntpd
[@hadoop104 ~]$ sudo systemctl disable ntpd

在其他机器配置1分钟与时间服务器同步一次
[@hadoop103 ~]$ sudo crontab -e
[@hadoop104 ~]$ sudo crontab -e
编写定时任务如下：
*/1 * * * * /usr/sbin/ntpdate hadoop102
修改任意机器时间
[@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"
1分钟后查看机器是否与时间服务器同步
[@hadoop103 ~]$ sudo date

404 Not Bug

关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
hadoop3.X学习笔记入门篇-集群搭建

hadoop介绍前置环境jdk安装hadoop安装-单机版hadoop目录结构介绍Hadoop运行模式编写集群分发脚本xsync SSH无密登录配置完全分布式运行模式-集群搭建（开发重点）- 1.1 集群规划-配置文件介绍 (了解)- 1.2 编写配置文件 (重要)- 1.3 群起集群 (重要)- 1.4 集群崩溃解决- 1.5 配置历史服务器- 1.6 配置日志聚集hadoop常用命令hadoop常用脚本集群时间同步 hadoop介绍1.1 Hadoop.
复制链接

扫一扫