大数据——Hadoop集群调优

最新推荐文章于 2023-11-21 17:31:58 发布
最新推荐文章于 2023-11-21 17:31:58 发布
阅读量3k 收藏 2
点赞数
分类专栏： java 文章标签： java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bhegi_seg/article/details/123836868
版权

注意：本文使用的Hadoop版本为3.2.1版本

目录

一、HDFS多目录存储

1.1 生产环境服务器磁盘情况

1.2 在hdfs-site.xml文件中配置多个目录，需要注意新挂载磁盘的访问权限问题。

二、集群数据均衡

2.1 节点间数据均衡

1）开启数据均衡命令

2）停止数据均衡命令

2.2 磁盘间数据均衡

1）生成均衡计划

2）执行均衡计划

3）查看当前均衡任务的执行情况

4）取消均衡任务

三、配置LZO压缩

1）下载hadoop-lzo开源组件并编译

2）将编译好的hadoop-lzo-0.4.20.jar放入${HADOOP_HOME}/share/common/

3）同步hadoop-lzo-0.4.20.jar到集群中的其他节点

4）core-site.xml增加配置支持LZO压缩

5）同步core-site.xml至集群中的其他节点

四、LZO创建索引

1）创建LZO文件的索引，LZO压缩文件的可切片特性依赖于其索引，所以需要手动为LZO压缩文件创建索引。若无索引，则LZO文件的切片只有一个。

2）测试

3）注意：如果以上任务，在运行过程中报如下异常

五、Hadoop集群基准测试

1）?测试HDFS写性能

2）测试HDFS读性能

3）删除测试生成数据

4）使用Sort程序评测MapReduce

六、Hadoop参数调优

6.1 HDFS参数调优hdfs-site.xml

6.2 YARN参数调优yarn-site.xml

一、HDFS多目录存储

1.1 生产环境服务器磁盘情况

1.2 在hdfs-site.xml文件中配置多个目录，需要注意新挂载磁盘的访问权限问题。

HDFS中DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器中有多个磁盘，必须对改参数进行修改。如服务器磁盘如上图所示，则该参数应修改为如下的值。

<property>
    <name>dfs.datanode.data.dir</name>
<value>file:///dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
</property>

多目录之间用逗号作为分隔符。另外，值得注意的是，每台服务器挂载的磁盘不一定一样，所以没台节点的多目录配置一般是不同的，需要手动的到每台服务器下去配置该项。

二、集群数据均衡

2.1 节点间数据均衡

1）开启数据均衡命令

start-balancer.sh -threshold 10

对于参数10，代表的是急群众各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。

2）停止数据均衡命令

stop-balancer.sh

2.2 磁盘间数据均衡

1）生成均衡计划

hdfs diskbalancer -plan hadoop101

2）执行均衡计划

hdfs diskbalancer -execute hadoop101.plan.json

3）查看当前均衡任务的执行情况

hdfs diskbalancer -query hadoop101

4）取消均衡任务

hdfs diskbalancer -cancel hadoop101.plan.json

切记在集群空闲的时候进行操作，不然的话rpc跨节点网络传输很考费资源，可能造成集群任务长时间获取不到资源而运行失败。

三、配置LZO压缩

1）下载hadoop-lzo开源组件并编译

hadoop本身并不支持lzo压缩，所以需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。

0. 环境准备
maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）
gcc-c++
zlib-devel
autoconf
automake
libtool
通过yum安装即可，yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool

1. 下载、安装并编译LZO

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

tar -zxvf lzo-2.10.tar.gz

cd lzo-2.10

./configure -prefix=/usr/local/hadoop/lzo/

make

make install

2. 编译hadoop-lzo源码

2.1 下载hadoop-lzo的源码，下载地址：https://github.com/twitter/hadoop-lzo/archive/master.zip
2.2 解压之后，修改pom.xml
<hadoop.current.version>3.1.3</hadoop.current.version>
2.3 声明两个临时环境变量
export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include
export LIBRARY_PATH=/usr/local/hadoop/lzo/lib
2.4 编译
进入hadoop-lzo-master，执行maven编译命令
mvn package -Dmaven.test.skip=true
2.5 进入target，hadoop-lzo-0.4.21-SNAPSHOT.jar 即编译成功的hadoop-lzo组件

2）将编译好的hadoop-lzo-0.4.20.jar放入${HADOOP_HOME}/share/common/

3）同步hadoop-lzo-0.4.20.jar到集群中的其他节点

4）core-site.xml增加配置支持LZO压缩

    <property>
        <name>io.compression.codecs</name>
        <value>
            org.apache.hadoop.io.compress.GzipCodec,
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec,
            com.hadoop.compression.lzo.LzoCodec,
            com.hadoop.compression.lzo.LzopCodec
        </value>
    </property>

    <property>
        <name>io.compression.codec.lzo.class</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
    </property>

5）同步core-site.xml至集群中的其他节点

四、LZO创建索引

1）创建LZO文件的索引，LZO压缩文件的可切片特性依赖于其索引，所以需要手动为LZO压缩文件创建索引。若无索引，则LZO文件的切片只有一个。

hadoop jar /opt/install/hadoop/share/common/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer big_file.lzo

2）测试

（1）将bigtable.lzo（200M）上传到集群的根目录

hdfs dfs -mkdir /input
hdfs dfs -put bigtable.lzo /input

（2）执行wordcount程序

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount -Dmapreduce.job.inputformat.class=com.hadoop.mapreduce.LzoTextInputFormat /input /output1

（3）对上传的LZO文件建索引

hadoop jar /opt/install/hadoop/share/hadoop/common/hadoop-lzo-0.4.20.jar  com.hadoop.compression.lzo.DistributedLzoIndexer /input/bigtable.lzo

（4）再次执行WordCount程序

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount -Dmapreduce.job.inputformat.class=com.hadoop.mapreduce.LzoTextInputFormat /input /output2

3）注意：如果以上任务，在运行过程中报如下异常

Container [pid=8468,containerID=container_1594198338753_0001_01_000002] is running 318740992B beyond the 'VIRTUAL' memory limit. Current usage: 111.5 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1594198338753_0001_01_000002 :

**解决办法：**在hadoop101的/opt/install/hadoopetc/hadoop/yarn-site.xml文件中增加如下配置，然后分发到hadoop102、hadoop103服务器上，并重新启动集群。

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
</property>

五、Hadoop集群基准测试

1）测试HDFS写性能

测试内容：向HDFS集群写10个128M的文件

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.1-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

-------------------------------------------------------------------------------------------
2021-08-21 16:24:54,075 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:             Date & time: Sat Aug 21 16:24:54 CST 2021
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:         Number of files: 10
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:       Throughput mb/sec: 7.67
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:  Average IO rate mb/sec: 7.73
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:   IO rate std deviation: 0.67
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:      Test exec time sec: 37.47
2021-08-21 16:24:54,076 INFO fs.TestDFSIO:
-------------------------------------------------------------------------------------------

2）测试HDFS读性能

测试内容：读取HDFS集群10个128M的文件

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.1-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

-------------------------------------------------------------------------------------------
2021-08-21 16:28:11,894 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:             Date & time: Sat Aug 21 16:28:11 CST 2021
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:         Number of files: 10
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:       Throughput mb/sec: 659.11
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:  Average IO rate mb/sec: 750.62
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:   IO rate std deviation: 299.71
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:      Test exec time sec: 17.37
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:
-------------------------------------------------------------------------------------------

3）删除测试生成数据

hadoop jar /opt/inistall/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.1-tests.jar TestDFSIO -clean

4）使用Sort程序评测MapReduce

（1）使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar randomwriter random-data

（2）执行Sort程序

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar sort random-data sorted-data

（3）验证数据是否真正排好序了

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.1-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data

六、Hadoop参数调优

6.1 HDFS参数调优hdfs-site.xml

<!--The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.
NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。
对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count的默认值10。-->
<property>
    <name>dfs.namenode.handler.count</name>
    <value>10</value>
</property>

dfs.namenode.handler.count=，比如集群规模为8台时，此参数设置为41。可通过简单的python代码计算该值，代码如下。

python
Python 2.7.5 (default, Aug 11 2021, 07:36:10) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import math
>>> print int(20*math.log(8))
41
>>> quit()

6.2 YARN参数调优yarn-site.xml

（1）情景描述：总共7台机器，每天几亿条数据，数据源->Flume->Kafka->HDFS->Hive

面临问题：数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。

（2）解决办法：

内存利用率不够。这个一般是Yarn的2个配置造成的，单个任务可以申请的最大内存大小，和Hadoop单个节点可用内存大小。调节这两个参数能提高系统内存的利用率。

（a）yarn.nodemanager.resource.memory-mb

表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。

（b）yarn.scheduler.maximum-allocation-mb

单个任务可申请的最多物理内存量，默认是8192（MB）。

bhegi_seg
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据性能调优总结.docx
12-30
大数据集群 ambari hdp 集群调优，工作中的累积 ，纯干货。
hadoop经验调优
First_____的博客
11-17 991
说明: 这个参数调优借鉴之尚硅谷课程 1. 配置hdfs存储多目录 生产环境的磁盘情况 问题: 需要增加的磁盘? 如何进行存储 说明: HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://${hadoop.tmp.dir}/dfs/data，若服务器有多个磁盘，必须对该参数进行修改。如服务器磁盘如上图所示，则该参数应修改为如下的值。 hdfs-site.xml <property> <name>dfs
大数据学习_Hadoop_调优及二次开发示例
qq_41612830的博客
02-01 768
目录1 Job执行三原则1.1 原则一 充分利用集群资源1.2 原则二 ReduceTask并发调整1.3 原则三 Task执行时间要合理2 Shuffle调优2.1 Map阶段2.2 Copy阶段2.3 Reduce阶段3 Job调优 1 Job执行三原则 充分利用集群资源 reduce阶段尽量放在一轮 每个task的执行时间要合理 1.1 原则一 充分利用集群资源 Job运行时，尽量让所有的节点都有任务处理，这样能尽量保证集群资源被充分利用，任务的并发度达到最大。可以通过调整处理的数据量大小，以
Hadoop集群优化
ZYN的博客
12-17 1077
文章目录Hadoop优化1、HDFS多目录1.1 NameNode的本地目录可以配置成多个，且每个目录存放内容相同，进而增加可靠性。1.2 DataNode可以配置成多个目录，每个目录存储的数据不一样（数据不是副本）1.3 集群数据均衡之磁盘间数据均衡2、HDFS扩容与缩容2.1 白名单2.2 服役新服务器2.3 服务器间数据均衡2.4 黑名单退役服务器 Hadoop优化 1、HDFS多目录 1.1 NameNode的本地目录可以配置成多个，且每个目录存放内容相同，进而增加可靠性。 hdfs-site.
[Hadoop性能调优]
热门推荐
程序车轮
05-11 1万+
一、 Hadoop概述   随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提...
大数据测试——精选推荐.pdf
12-24
执⾏并分析测试结果（如果指标异常，则调优相应的组件并重新测试） 5. 优化配置 性能测试基础准备 性能测试基础准备 在⼤数据性能测试时，需要准备相关的基础⼯作，如下： 数据准备，我们需要在不同的节点准备什么...
大数据课程体系 (3).docx
06-02
之后，课程聚焦于大数据处理的核心技术——Hadoop。Hadoop的学习包括其历史、现状和未来发展，以及Hadoop的核心组件HDFS和MapReduce的架构。课程将详细讲解Hadoop的集群结构，包括独立模式、伪分布式和完全分布式的...
内容介绍了SparkSql概述，参数调优，逻辑优化及数栈问题案例。
08-26
SparkSQL的出现，部分原因是由于Shark框架在性能优化和复杂SQL功能上的局限性，因此Databricks公司决定开发一个独立的框架——SparkSQL，它不再依赖于Hive，而是直接基于Spark运行。 在SparkSQL中，DataFrame是一个...
大数据课程体系.pdf
06-23
深入讲解Hadoop的两大核心组件——HDFS和MapReduce，以及YARN调度框架。学习者将了解Hadoop的集群结构，掌握独立模式、伪分布式和完全分布式安装配置，理解HDFS的工作原理，包括datanode和namenode的角色，以及...
HDFS集群优化
czxylzl的博客
03-02 333
操作系统级别优化 1.优化文件系统 （推荐使用EXT4和XFS文件系统，相比较而言，更推荐后者，因为XFS已经帮我们做了大量的优化。） 2.预读缓冲 　　预读技术可以有效的减少磁盘寻道次数和应用的I/O等待时间，增加Linux文件系统预读缓冲区的大小(默认为256 sectors，128KB)，可以明显提高顺序文件的读性能，建议调整到1024或2048 sectors。预读缓冲区的设置可以通过blockdev命令来完成。 3.放弃RAID和LVM磁盘管理方式，选用JBOD 复制代码 不使用RAID 　　应避
Hadoop笔记-生产调优篇
weixin_52457750的博客
11-12 1089
Hadoop笔记-生产调优篇
hadoop常用的调优参数
zhijunming的博客
07-26 306
hadoop常用的调优参数 1）资源相关参数 （1）以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml） 配置参数 参数说明 mapreduce.map.memory.mb 一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。 mapreduce.reduce.memory.mb
性能调优
liuwei063608的专栏
03-28 3277
目 录 12 性能调优 12.1 配置原则 12.2 Manager 12.2.1 提升Manager配置服务参数的效率 12.2.2 根据集群节点数优化Manager配置 12.3 HBase 12.3.1 提升BulkLoad效率 12.3.2 提升连续put场景性能 12.3.3 Put和Scan性能综合调优 12.3.4 提升实时
Hadoop性能调优学习概述
chndata的专栏
12-29 3203
目的 随着企业要处理的数据量越来越大，Hadoop运行在越来越多的集群上，同时MapReduce由于具有高可扩展性和容错性，已经逐步广泛使用开来。因此也产生很多问题，尤其是性能方面的问题。这里从管理员角度和用户角度分别介绍Hadoop性能优化的一些体会。 本文是基于Hadoop 0.20.x(包括1x),cdh 3及以上版本做介绍。（Hadoop的版本比较杂乱，具体可以看参考部分链接介绍）
Hadoop性能调优
没有最好，只有更好！
11-13 9515
Hadoop性能调优1. 简介Hadoop性能调优不仅涉及Hadoop本身的性能调优，还涉及更底层的硬件、操作系统和Java虚拟机等系统的调优。具体包括以下四部分，系统对这几部分适当地进行调优均可能给Hadoop带来性能提升。 **Hadoop(JobTracker, TaskTracker,…) Java Virtual Machine Operating System(CentO
生产调优Hadoop综合调优
weixin_44966780的博客
12-06 830
生产调优Hadoop综合调优 Hadoop 小文件优化方法 Hadoop 小文件弊端 HDFS 上每个文件都要在 NameNode 上创建对应的元数据，这个元数据的大小约为150byte，这样当小文件比较多的时候，就会产生很多的元数据文件，一方面会大量占用NameNode 的内存空间，另一方面就是元数据文件过多，使得寻址索引速度变慢。 小文件过多，在进行 MR 计算时，会生成过多切片，需要启动过多的 MapTask。每个MapTask 处理的数据量小，导致 MapTask 的处理时间比启动时间还小，白白消耗
Hadoop性能调优建议
最新发布
Dreamershi的专栏
11-21 1150
5、HDFS的Handler数量由dfs.namenode.handler.count、dfs.namenode.service.handler.count和dfs.datanode.handler.count控制。Dfs.namenode.service.handler.count Namenode的RPC服务端用于监听来自datanode和所有非客户端节点请求的线程数。mapreduce.task.io.sort.mb 一般设置为容器内存的25%，加大可以减少map中间结果spill到硬盘次数。
[ hadoop ] 集群性能调优全面总结
张伟的专栏
07-10 1349
集群性能调优全面总结
Hadoop的本地库（Native Libraries）及相关问题总结
u013303361的专栏
04-23 1万+
主体转自：http://blog.sina.com.cn/s/blog_3d9e90ad0102wqrp.html （未亲测，我的getconf LONG_BIT返回32，且file libhadoop.so.1.0.0返回64，与之相反）Hadoop的本地库（Native Libraries）介绍Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（...
大数据hadoop集群虚拟机环境下载
05-13
大数据hadoop集群虚拟机环境的下载方式可以分为两种：自行搭建和使用已有的虚拟机镜像。 自行搭建需要先准备好虚拟机软件，如VirtualBox、VMware等，并下载CentOS等Linux系统的镜像文件。接着，按照hadoop集群的架构，创建多个虚拟机并安装好基本的软件和配置，最后再进行hadoop、hive、hbase等大数据软件的安装和配置。但这种方法需要自行掌握虚拟机、Linux及大数据技术，有较高的门槛，适合专业人员。 使用已有的虚拟机镜像，则需在官方网站或者其他可靠的网站上下载已经安装好的hadoop集群虚拟机镜像文件，如apache ambari等。下载后直接导入虚拟机软件中即可使用。这种方法相对比较简单，也省去了安装和配置的步骤，但是需要注意文件的来源和版本的匹配，以避免出现冲突等问题。 综上所述，对于大数据初学者和业余爱好者，建议使用已有的虚拟机镜像进行Hadoop集群环境的搭建，对于专业研究人员，自行搭建虚拟机环境会更加灵活和方便。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值