第五课大数据技术之Hadoop3.x的生产调优手册

最新推荐文章于 2023-04-25 16:58:27 发布

道教儒佛电磁波

最新推荐文章于 2023-04-25 16:58:27 发布

阅读量474

点赞数

分类专栏：大数据Hadoop3 文章标签： big data hadoop hdfs

本文链接：https://blog.csdn.net/aa18855953229/article/details/125213839

版权

本文是关于Hadoop3.x的大数据技术生产调优指南，涵盖HDFS核心参数配置，如NameNode内存、心跳并发及回收站功能；HDFS集群性能压测，包括读写性能分析；多目录配置，NameNode与DataNode的存储优化；集群扩容、缩容及故障排除；MapReduce的生产经验与YARN调优参数。通过对Hadoop生态系统的深入调优，提升大数据处理效率和稳定性。

摘要由CSDN通过智能技术生成

第五课大数据技术之Hadoop3.x的生产调优手册

文章目录

第五课大数据技术之Hadoop3.x的生产调优手册

第一节 HDFS—核心参数

1.1 NameNode内存生产配置

NameNode内存计算。每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？

128G * 1024 * 1024 * 1024  / 150 Byte ≈  9.1亿
  G	  MB	  KB	 Byte

Hadoop2.x系列，配置NameNode内存.NameNode内存默认2000m，如果服务器内存4G，NameNode内存可以配置3g。在hadoop-env.sh文件中配置如下。

HADOOP_NAMENODE_OPTS=-Xmx3072m

Hadoop3.x系列，配置NameNode内存。hadoop-env.sh中描述Hadoop的内存是动态分配的

# The maximum amount of heap to use (Java -Xmx).  If no unit
# is provided, it will be converted to MB.  Daemons will
# prefer any Xmx setting in their respective _OPT variable.
# There is no default; the JVM will autoscale based upon machine
# memory size.
# export HADOOP_HEAPSIZE_MAX=

# The minimum amount of heap to use (Java -Xms).  If no unit
# is provided, it will be converted to MB.  Daemons will
# prefer any Xms setting in their respective _OPT variable.
# There is no default; the JVM will autoscale based upon machine
# memory size.
# export HADOOP_HEAPSIZE_MIN=
HADOOP_NAMENODE_OPTS=-Xmx102400m

查看NameNode占用内存

jps
3088 NodeManager
2611 NameNode
3271 JobHistoryServer
2744 DataNode
3579 Jps
jmap -heap 2611
Heap Configuration:
   MaxHeapSize              = 1031798784 (984.0MB)
# 查看DataNode占用内存
jmap -heap 2744
Heap Configuration:
   MaxHeapSize              = 1031798784 (984.0MB)
# 查看发现hadoop102上的NameNode和DataNode占用内存都是自动分配的，且相等。不是很合理。
# 经验参考：https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_hardware_requirements.html#concept_fzz_dq4_gbb

具体修改：hadoop-env.sh

export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"

export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"

在这里插入图片描述

1.2 NameNode心跳并发配置

在这里插入图片描述

hdfs-site.xml
The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.
NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大该参数。默认值是10。

<property>
    <name>dfs.namenode.handler.count</name>
    <value>21</value>
</property>

比如集群规模（DataNode台数）为3台时，此参数设置为21。可通过简单的python代码计算该值，代码如下。

sudo yum install -y python
python
Python 2.7.5 (default, Apr 11 2018, 07:36:10) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import math
>>> print int(20*math.log(3))
21
>>> quit()

1.3 开启回收站配置

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。
回收站工作机制
开启回收站功能参数说明
- 默认值fs.trash.interval = 0，0表示禁用回收站；其他值表示设置文件的存活时间。
- 默认值fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为0，则该值设置和fs.trash.interval的参数值相等。
- 要求fs.trash.checkpoint.interval <= fs.trash.interval。
启用回收站,修改core-site.xml，配置垃圾回收时间为1分钟。

<property>
    <name>fs.trash.interval</name>
    <value>1</value>
</property>

查看回收站。在HDFS集群中的路径：/user/atguigu/.Trash/….
注意：通过网页上直接删除的文件也不会走回收站。
通过程序删除的文件不会经过回收站，需要调用moveToTrash()才进入回收站

Trash trash = New Trash(conf);
trash.moveToTrash(path);

只有在命令行利用hadoop fs -rm命令删除的文件才会走回收站。

hadoop fs -rm -r /atguigu/input

恢复回收站数据

hadoop fs -mv /user/atguigu/.Trash/Current/user/atguigu/input    /user/atguigu/input

第二节 HDFS—集群压测

2.1 压测介绍

在企业中非常关心每天从Java后台拉取过来的数据，需要多久能上传到集群？消费者关心多久能从HDFS上拉取需要的数据？
为了搞清楚HDFS的读写性能，生产环境上非常需要对集群进行压测。
HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试，将hadoop102、hadoop103、hadoop104虚拟机网络都设置为100mbps。
100Mbps单位是bit；10M/s单位是byte ; 1byte=8bit，100Mbps/8=12.5M/s
测试网速：来到hadoop102的/opt/module目录，创建一个

# 启动个端口8080 可以在页面上下载当前目录下的文件
python -m SimpleHTTPServer

2.2 测试HDFS写性能

写测试底层原理
测试内容：向HDFS集群写10个128M的文件

# 专门用来压测的jar包 写10个文件 每个文件128MB
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

2021-02-09 10:43:16,853 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:             Date & time: Tue Feb 09 10:43:16 CST 2021
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:         Number of files: 10
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:       Throughput mb/sec: 1.61
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:  Average IO rate mb/sec: 1.9
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:   IO rate std deviation: 0.76
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:      Test exec time sec: 133.05
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:

注意：nrFiles n为生成mapTask的数量，生产环境一般可通过hadoop103:8088查看CPU核数，设置为（CPU核数 - 1）
- Number of files：生成mapTask数量，一般是集群中（CPU核数-1），我们测试虚拟机就按照实际的物理内存-1分配即可
- Total MBytes processed：单个map处理的文件大小
- Throughput mb/sec:单个mapTak的吞吐量
  - 计算方式：处理的总文件大小/每一个mapTask写数据的时间累加
  - 集群整体吞吐量：生成mapTask数量*单个mapTak的吞吐量
- Average IO rate mb/sec:平均mapTak的吞吐量
  - 计算方式：每个mapTask处理文件大小/每一个mapTask写数据的时间
  - 全部相加除以task数量
- IO rate std deviation:方差、反映各个mapTask处理的差值，越小越均衡
注意：如果测试过程中，出现异常，可以在yarn-site.xml中设置虚拟内存检测为false

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

分发配置并重启Yarn集群
测试结果分析
- 由于副本1就在本地，所以该副本不参与测试
- 一共参与测试的文件：10个文件 * 2个副本 = 20个
- 压测后的速度：1.61
- 实测速度：1.61M/s * 20个文件 ≈ 32M/s
- 三台服务器的带宽：12.5 + 12.5 + 12.5 ≈ 30m/s
- 所有网络资源都已经用满。
- 如果实测速度远远小于网络，并且实测速度不能满足工作需求，可以考虑采用固态硬盘或者增加磁盘个数。
- 如果客户端不在集群节点，那就三个副本都参与计算

2.3 测试HDFS读性能

测试HDFS读性能，测试内容：读取HDFS集群10个128M的文件

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB


2021-02-09 11:34:15,847 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
2021-02-09 11:34:15,847 INFO fs.TestDFSIO:             Date & time: Tue Feb 09 11:34:15 CST 2021
2021-02-09 11:34:15,847 INFO fs.TestDFSIO:         Number of files: 10
2021-02-09 11:34:15,847 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2021-02-09 11:34:15,848 INFO fs.TestDFSIO:       Throughput mb/sec: 200.28
2021-02-09 11:34:15,848 INFO fs.TestDFSIO:  Average IO rate mb/sec: 266.74
2021-02-09 11:34:15,848 INFO fs.TestDFSIO:   IO rate std deviation: 143.12
2021-02-09 11:34:15,848 INFO fs.TestDFSIO:      Test exec time sec: 20.83

删除测试生成数据

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -clean

测试结果分析：为什么读取文件速度大于网络带宽？由于目前只有三台服务器，且有三个副本，数据读取就近原则，相当于都是读取的本地磁盘数据，没有走网络。所以速度基本由磁盘读速度决定。

第三节 HDFS—多目录

3.1 NameNode多目录配置

NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性
具体配置如下, 在hdfs-site.xml文件中添加如下内容

<property>
     <name>dfs.namenode.name.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2</value>
</property>

注意：因为每台服务器节点的磁盘情况不同，所以这个配置配完之后，可以选择不分发
生产环境下如果没有配置多目录，就不要配置了，因为要重置集群。

# 停止集群，删除三台节点的data和logs中所有数据。
rm -rf data/ logs/

# 格式化集群并启动。
bin/hdfs namenode -format
sbin/start-dfs.sh
# 查看结果 检查name1和name2里面的内容，发现一模一样。
#  ll
drwx------. 3 atguigu atguigu 4096 12月 11 08:03 data
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name1
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name2

3.2 DataNode多目录配置

DataNode可以配置成多个目录，每个目录存储的数据不一样（数据不是副本）
具体配置如下, 在hdfs-site.xml文件中添加如下内容

<property>
     <name>dfs.datanode.data.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2</value>
</property>

查看结果

ll
总用量 12
drwx------. 3 atguigu atguigu 4096 4月   4 14:22 data1
drwx------. 3 atguigu atguigu 4096 4月   4 14:22 data2
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name1
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name2
# 向集群上传一个文件，再次观察两个文件夹里面的内容发现不一致（一个有数一个没有）
hadoop fs -put wcinput/word.txt /

3.3 集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性）

#  生成均衡计划（我们只有一块磁盘，不会生成计划）
hdfs diskbalancer -plan hadoop103
# 执行均衡计划
hdfs diskbalancer -execute hadoop103.plan.json
# 查看当前均衡任务的执行情况
hdfs diskbalancer -query hadoop103
# 取消均衡任务
hdfs diskbalancer -cancel hadoop103.plan.json

第四节 HDFS—集群扩容及缩容

4.1 添加白名单

白名单：表示在白名单的主机IP地址可以，用来存储数据。
企业中：配置白名单，可以尽量防止黑客恶意访问攻击。
配置白名单步骤如下：
- 在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件
创建白名单

vim whitelist
# 在whitelist中添加如下主机名称，假如集群正常工作的节点为102 103 
hadoop102
hadoop103
# 创建黑名单 保持空的就可以
touch blacklist

# 在hdfs-site.xml配置文件中增加dfs.hosts配置参数
<!-- 白名单 -->
<property>
     <name>dfs.hosts</name>
     <value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>

<!-- 黑名单 -->
<property>
     <name>dfs.hosts.exclude</name>
     <value>/opt/m