Hadoop生产调优手册（一）

已于 2022-08-06 20:59:15 修改
阅读量815 收藏 2
点赞数 1
分类专栏： 大数据系列 文章标签： hadoop hdfs java hadoop生产环境配置注意点
于 2021-12-16 23:34:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/prefect_start/article/details/121985672
版权

1、HDFS—核心参数

1.1 NameNode内存生产配置

1.1.1、NameNode内存计算

每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？

128 * 1024 * 1024 * 1024  / 150Byte ≈  9.1亿
G	 MB	KB	 Byte

1.1.2、Hadoop2.x系列，配置NameNode内存

NameNode内存默认2000m，如果服务器内存4G，NameNode内存可以配置3g。
在hadoop-env.sh文件中配置如下。

HADOOP_NAMENODE_OPTS=-Xmx3072m

1.1.3、Hadoop3.x系列，配置NameNode内存

1）hadoop-env.sh中描述Hadoop的内存是动态分配的

# The maximum amount of heap to use (Java -Xmx).  If no unit
# is provided, it will be converted to MB.  Daemons will
# prefer any Xmx setting in their respective _OPT variable.
# There is no default; the JVM will autoscale based upon machine
# memory size.
# export HADOOP_HEAPSIZE_MAX=

# The minimum amount of heap to use (Java -Xms).  If no unit
# is provided, it will be converted to MB.  Daemons will
# prefer any Xms setting in their respective _OPT variable.
# There is no default; the JVM will autoscale based upon machine
# memory size.
# export HADOOP_HEAPSIZE_MIN=
HADOOP_NAMENODE_OPTS=-Xmx102400m

2）查看NameNode占用内存

[atguigu@hadoop102 ~]$ jps
3088 NodeManager
2611 NameNode
3271 JobHistoryServer
2744 DataNode
3579 Jps
[atguigu@hadoop102 ~]$ jmap -heap 2611
Heap Configuration:
MaxHeapSize              = 1031798784 (984.0MB)

3）查看DataNode占用内存

[atguigu@hadoop102 ~]$ jmap -heap 2744
Heap Configuration:
MaxHeapSize              = 1031798784 (984.0MB)

查看发现hadoop102上的NameNode和DataNode占用内存都是自动分配的，且相等。不是很合理。
经验参考：
参考
在这里插入图片描述
具体修改：hadoop-env.sh

export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"
export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"

1.2、 NameNode心跳并发配置

在这里插入图片描述
1）hdfs-site.xml

The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.

NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。
对于大集群或者有大量客户端的集群来说，通常需要增大该参数。默认值是10。

<property>
    <name>dfs.namenode.handler.count</name>
    <value>21</value>
</property>

企业经验：dfs.namenode.handler.count=20×〖log〗_e^(Cluster Size)，
比如集群规模（DataNode台数）为3台时，此参数设置为21。可通过简单的python代码计算该值，代码如下。

[atguigu@hadoop102 ~]$ sudo yum install -y python
[atguigu@hadoop102 ~]$ python
Python 2.7.5 (default, Apr 11 2018, 07:36:10) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import math
>>> print int(20*math.log(3))
21
>>> quit()

1.3、 开启回收站配置

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。
1）回收站工作机制
在这里插入图片描述

2）开启回收站功能参数说明

（1）默认值fs.trash.interval = 0，0表示禁用回收站；其他值表示设置文件的存活时间。
（2）默认值fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为0，则该值设置和fs.trash.interval的参数值相等。
（3）要求fs.trash.checkpoint.interval <= fs.trash.interval。

3）启用回收站
修改 core-site.xml，配置垃圾回收时间为1分钟。

<property>
    <name>fs.trash.interval</name>
    <value>1</value>
</property>

4）查看回收站
回收站目录在HDFS集群中的路径：/user/atguigu/.Trash/….
5）注意：通过网页上直接删除的文件也不会走回收站。
6）通过程序删除的文件不会经过回收站，需要调用moveToTrash()才进入回收站

Trash trash = New Trash(conf);
trash.moveToTrash(path);

7）只有在命令行利用hadoop fs -rm命令删除的文件才会走回收站。

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /user/atguigu/input
2021-07-14 16:13:42,643 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hadoop102:9820/user/atguigu/input' to trash at: hdfs://hadoop102:9820/user/atguigu/.Trash/Current/user/atguigu/input

8）恢复回收站数据

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mv
/user/atguigu/.Trash/Current/user/atguigu/input    /user/atguigu/input

2、 HDFS—集群压测

在企业中非常关心每天从Java后台拉取过来的数据，需要多久能上传到集群？消费者关心多久能从HDFS上拉取需要的数据？
为了搞清楚HDFS的读写性能，生产环境上非常需要对集群进行压测
在这里插入图片描述
HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试，将hadoop102、hadoop103、hadoop104虚拟机网络都设置为100mbps。
在这里插入图片描述
100Mbps单位是bit；10M/s单位是byte ; 1byte=8bit，100Mbps/8=12.5M/s。

测试网速：来到hadoop102的/opt/module目录，创建一个

[atguigu@hadoop102 software]$ python -m SimpleHTTPServer

在这里插入图片描述
在这里插入图片描述

2.1、测试HDFS写性能

0）写测试底层原理
在这里插入图片描述

1）测试内容：向HDFS集群写10个128M的文件

[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

2021-02-09 10:43:16,853 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:             Date & time: Tue Feb 09 10:43:16 CST 2021
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:         Number of files: 10
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:       Throughput mb/sec: 1.61
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:  Average IO rate mb/sec: 1.9
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:   IO rate std deviation: 0.76
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:      Test exec time sec: 133.05
2021-02-09 10:43:16,854 INFO fs.TestDFSIO:

注意：nrFiles n为生成mapTask的数量，生产环境一般可通过hadoop103:8088查看CPU核数，设置为（CPU核数 - 1）

  • Number of files：生成mapTask数量，一般是集群中（CPU核数-1），我们测试虚拟机就按照实际的物理内存-1分配即可
  • Total MBytes processed：单个map处理的文件大小
  • Throughput mb/sec:单个mapTak的吞吐量 。计算方式：处理的总文件大小/每一个mapTask写数据的时间累加
    集群整体吞吐量：生成mapTask数量*单个mapTak的吞吐量
  • Average IO rate mb/sec::平均mapTak的吞吐量。计算方式：每个mapTask处理文件大小/每一个mapTask写数据的时间 ，全部相加除以task数量
  • IO rate std deviation:方差、反映各个mapTask处理的差值，越小越均衡

2）注意：如果测试过程中，出现异常
（1）可以在yarn-site.xml中设置虚拟内存检测为false

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

（2）分发配置并重启Yarn集群

3）测试结果分析
（1）由于副本1就在本地，所以该副本不参与测试
在这里插入图片描述
计算方式

一共参与测试的文件：10个文件 * 2个副本 = 20个
压测后的速度：1.61
实测速度：1.61M/s * 20个文件 ≈ 32M/s
三台服务器的带宽：12.5 + 12.5 + 12.5 ≈ 30m/s
所有网络资源都已经用满。
如果实测速度远远小于网络，并且实测速度不能满足工作需求，可以考虑采用固态硬盘或者增加磁盘个数。

（2）如果客户端不在集群节点，那就三个副本都参与计算
在这里插入图片描述
计算方式同上。

2.2、测试HDFS读性能

1）测试内容：读取HDFS集群10个128M的文件

[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

2021-02-09 11:34:15,847 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
2021-02-09 11:34:15,847 INFO fs.TestDFSIO:             Date & time: Tue Feb 09 11:34:15 CST 2021
2021-02-09 11:34:15,847 INFO fs.TestDFSIO:         Number of files: 10
2021-02-09 11:34:15,847 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2021-02-09 11:34:15,848 INFO fs.TestDFSIO:       Throughput mb/sec: 200.28
2021-02-09 11:34:15,848 INFO fs.TestDFSIO:  Average IO rate mb/sec: 266.74
2021-02-09 11:34:15,848 INFO fs.TestDFSIO:   IO rate std deviation: 143.12
2021-02-09 11:34:15,848 INFO fs.TestDFSIO:      Test exec time sec: 20.83

2）删除测试生成数据

[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -clean

3）测试结果分析：
为什么读取文件速度大于网络带宽？
由于目前只有三台服务器，且有三个副本，数据读取就近原则，相当于都是读取的本地磁盘数据，没有走网络。
在这里插入图片描述

后端技术那点事
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
五分钟学大数据-Hadoop企业级调优手册1
08-03
1.3 开启回收站配置 6 2.1 测试 HDFS 写性能 9 2.2 测试 HDFS 读性能 11 3.3 集群数据均衡之磁盘间数据均衡13 4.1 添加白名
大数据技术之Hadoop（生产调优手册）V3.3.pdf
07-16
大数据技术之Hadoop（生产调优手册）V3.3.pdf
hadoop内存大小设置问题
热门推荐
不积跬步，无以致千里；不积小流，无以成江海
07-13 1万+
前面博客里面提到，运行一次hadoop的时候出现java heap error。字面意思分配堆的时候出现错误，我们知道应用程序的动态内存的分配均在堆里面。这里提示堆错误，那必然是内存不够用了。那么这个namenode内存的大小该怎么取值呢？ namenode管理着集群里面所有文件的信息。简单根据文件信息给出一个准确计算内存大小的公式是不现实的。 hadoop默认namenode内存的大小为10
[ hadoop ] 集群性能调优全面总结
jason_bone_的博客
03-18 3214
引子 文章涵盖了hadoop框架的三个组成架构各自的优化方法,涉及存储,计算,故障排除等多个方面的具体调优内容,先后解决HDFS,MapReduce,Yarn的常见问题,最终结合小文件给出了Hadoop综合调优. 1 HDFS调优 1.1 核心参数 1.1.1 NameNode内存 Hadoop2.x系列,NN内存默认2000M,根据服务器(以4G为例)的3/4来配: hadoop-env.sh文件中配置:HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x系列,had
Hadoop3教程（二十六）：（生产调优篇）NameNode核心参数配置与回收站的启用
最新发布
经年藏殊的博客
10-21 1459
介绍了hadoop里部分核心参数的配置方式，如NameNode内存相关参数的配置、NameNode心跳并发的配置，并介绍了如何启用hadoop的回收站
企业经验---参数调优---尚硅谷
weixin_52996387的博客
05-21 574
但注意，存储小文件所需要的磁盘容量和数据块的大小无关。XOR-2-1-1024k：使用XOR编码（速度比RS编码快），每2个数据单元，生成1个校验单元，共3个单元，也就是说：这三个单元中，只要有任意的2个单元存在（不管是数据单元还是校验单元，只要总数是2）就可以得到原始数据。RS-10-4-1024k：使用RS编码，每10个数据单元生成4个校验单元，共14个单元，也就是说：这14个单元中，只要有任意的10个单元存在（不管是数据单元还是校验单元，只要总数=10）就可以得到原始数据。
Yarn metrics参数说明
骑猪喝咖啡
08-01 4597
获取Yarn jmx信息： curl -i http://node01:8088/jmx Hadoop:service=ResourceManager,name=FSOpDurations Hadoop:service=ResourceManager,name=JvmMetrics Hadoop:service=ResourceManager,name=ClusterMetri
大数据技术之Hadoop（生产调优手册）.docx
08-29
大数据技术之Hadoop（生产调优手册）.docx
Hadoop集群优化手册
08-05
请在测试环境使用本文档对集群参数调优，测试环境无不良情况可根据具体生产情况调整。
Java代码监控Hadoop集群(支持HA集群)
weixin_44455388的博客
04-15 2343
HDFS相关监控指标 public class HdfsSummary { //"name": "Hadoop:service=NameNode,name=NameNodeInfo" //总空间大小 GB private double total; //hdfs已使用的空间大小 GB private double dfsUsed; //hdfs...
hadoop-集群管理（2）——内存设置
weixin_34415923的博客
03-08 365
1. 内存 hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。 大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文件的数据块的引用。如果...
hadoop之调优简介
cxzaiwyy的博客
02-09 613
HDFS核心简介
hadoop namenode进程参数调整
wuzhilon88的专栏
03-14 4589
修改hadoop-env.sh添加     vi $HADOOP_HOME/conf/hadoop-env.sh export HADOOP_NAMENODE_OPTS="-Xmx16384m -Xms4096m -Xmn2048m -verbose:gc -Xloggc:/usr/local/fqlhadoop/logs/hdfs/namenode.gc.log -XX:E
[Hadoop]万字长文Hadoop相关优化和问题排查总结
MyNameIsWangYi的博客
03-18 1606
Hadoop问题排查相关
HDFS NameNode内存详解
美团技术团队
12-09 3429
前言 《HDFS NameNode内存全景》中，我们从NameNode内部数据结构的视角，对它的内存全景及几个关键数据结构进行了简单解读，并结合实际场景介绍了NameNode可能遇到的问题，还有业界进行横向扩展方面的多种可借鉴解决方案。 事实上，对NameNode实施横向扩展前，会面临常驻内存随数据规模持续增长的情况，为此需要经历不断调整NameNode内存的堆空间大小的过程，期间...
Hadoop：HDFS NameNode内存全景
weixin_34007291的博客
09-12 403
原文转自：https://tech.meituan.com/namenode.html 感谢原作者 一、概述 从整个HDFS系统架构上看，NameNode是其中最重要、最复杂也是最容易出现问题的地方，而且一旦NameNode出现故障，整个Hadoop集群就将处于不可服务的状态，同时随着数据规模和集群规模地持续增长，很多小量级时被隐藏的问题逐渐暴露出来。所以，从更高层次掌握NameNode的内部...
NameNode 内存生产配置
weixin_45417821的博客
10-29 1870
1）NameNode 内存计算 每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1 亿 G MB KB Byte 2）Hadoop2.x 系列，配置 NameNode 内存 NameNode 内存默认 2000m，如果服务器内存 4G，NameNode 内存可以配置 3g。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m 3.
该怎么查找对hadoop进行调优对比的任务数据
05-19
要比较Hadoop调优前后的性能差异，需要收集一些关于任务数据的统计信息。以下是一些可能有用的指标： 1. 数据大小：任务处理的数据量，包括输入数据大小和输出数据大小。 2. 块大小：HDFS块的大小，这对于调整map和reduce任务的并行度非常重要。 3. 任务数量：执行的map和reduce任务数量。 4. JVM内存：每个map和reduce任务使用的JVM堆内存大小。 5. 压缩格式：输入数据是否压缩，以及使用的压缩格式。 6. 数据分布：数据是否均匀分布在HDFS集群中的节点上。 7. 网络带宽：HDFS和YARN节点之间的网络带宽。 可以通过Hadoop自带的工具和第三方监控工具来收集这些指标，例如： 1. Job History Server：Hadoop自带的工具，可以提供有关作业的详细信息，包括输入和输出数据大小、任务数等。 2. Ganglia和Graphite：第三方监控工具，可以提供有关集群的详细信息，包括网络带宽、内存使用等。 3. JMX监控：Hadoop的各个组件都支持JMX监控，可以收集有关JVM内存使用和其他性能指标的信息。 通过收集这些指标，可以比较调优前后的性能差异，并确定哪些调整对性能有最大影响。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值