文章目录
一.HDFS存储多目录
1.适用场景:若HDFS存储空间紧张,需要对DataNode进行磁盘扩展
2.操作流程:
-
1)在DataNode节点增加磁盘并进行挂载:
- df 查看系统整体磁盘使用情况:
- 参考:Linux磁盘分区与挂载
-
2)在Hadoop的
hdfs-site.xml
文件中配置多目录<property> <name>dfs.datanode.data.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value> </property>
-
3)开启数据均衡
增加磁盘后,保证每个目录数据均衡:开启数据均衡命令:
bin/start-balancer.sh -threshold 10
参数10,代表的是集群中各个节点的磁盘空间利用率相差不超过10%,可根据实际情况进行调整。
-
4)停止数据均衡命令:
bin/stop-balancer.sh
二.Hadoop支持LZO压缩配置
hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译,编译步骤如下:
1.hadoop-lzo编译
0.环境准备
- maven(下载安装,配置环境变量,修改sitting.xml加阿里云镜像)
- 安装:
- gcc-c++
- zlib-devel
- autoconf
- automake
- libtool
通过yum安装即可:
yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool
1.下载、安装并编译LZO
yum install -y wget
# 网络下载一个文件并保存在当前目录
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz
tar -zxvf lzo-2.10.tar.gz
cd lzo-2.10
#不懂
./configure -prefix=/usr/local/hadoop/lzo/
#不懂
make
make install
2.编译hadoop-lzo源码
1)下载hadoop-lzo的源码:
- 下载地址:https://github.com/twitter/hadoop-lzo/archive/master.zip
2)解压之后,修改pom.xml
<hadoop.current.version>3.1.3</hadoop.current.version>
3)声明两个临时环境变量
export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include
export LIBRARY_PATH=/usr/local/hadoop/lzo/lib
4)编译
#进入hadoop-lzo-master,执行maven编译命令
mvn package -Dmaven.test.skip=true
5)进入target,hadoop-lzo-0.4.21-SNAPSHOT.jar
即编译成功的hadoop-lzo组件
2.Hadoop配置
1)将编译好后的hadoop-lzo-0.4.20.jar
放入$HADOOP_HOME/share/hadoop/common/
[zxy@hadoop102 common]$ pwd
/opt/module/hadoop-3.1.3/share/hadoop/common
[zxy@hadoop102 common]$ ls
hadoop-lzo-0.4.20.jar
2)同步hadoop-lzo-0.4.20.jar
到hadoop103、hadoop104
[zxy@hadoop102 common]$ xsync hadoop-lzo-0.4.20.jar
3)core-site.xml
增加配置支持LZO压缩
<configuration>
<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
</configuration>
4)同步core-site.xml到hadoop103、hadoop104
[zxy@hadoop102 hadoop]$ xsync core-site.xml
5)启动及查看集群
[zxy@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[zxy@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
3.LZO创建索引
LZO压缩文件的可切片特性依赖于其索引,故我们需要手动为LZO压缩文件创建索引。若无索引,则LZO文件的切片只有一个。创建LZO文件索引的方法:
# /big_file.lzo是集群上的路径
hadoop jar /path/to/your/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer /big_file.lzo
测试案例:
1)将bigtable.lzo(150M)上传到集群的根目录,并执行wordcount程序
- 此时MapReduce的切片只有一个
[zxy@hadoop102 module]$ hadoop fs -mkdir /input
[zxy@hadoop102 module]$ hadoop fs -put bigtable.lzo /input
[zxy@hadoop102 module]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output1
2)对上传的LZO文件建索引,再次执行WordCount程序
- 此时MapReduce可以对文件进行切片
[zxy@hadoop102 module]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /input/bigtable.lzo
[zxy@hadoop102 module]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output2
三.Hadoop基准测试:HDFS压力测试
在企业开发基准测试非常重要。不测试行不行?项目经理问:输入端有1T的数据,问:多长时间能把数据上传到集群,假如说1个小时,那100T数据呢?
目标:对自己的架构要有一个清晰的了解,做到心中有数
1.测试HDFS写性能
测试内容:向HDFS集群写10个128M的文件
[zxy@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB
输出结果:吞吐量 MB/S
- Throughput mb/sec:9.96
2020-04-19 15:22:36,905 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2020-04-19 15:22:37,009 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
2020-04-19 15:22:37,010 INFO fs.TestDFSIO: Date & time: Sun Apr 19 15:22:36 CST 2020
2020-04-19 15:22:37,011 INFO fs.TestDFSIO: Number of files: 10
2020-04-19 15:22:37,011 INFO fs.TestDFSIO: Total MBytes processed: 1280
2020-04-19 15:22:37,012 INFO fs.TestDFSIO: Throughput mb/sec: 9.96
2020-04-19 15:22:37,012 INFO fs.TestDFSIO: Average IO rate mb/sec: 9.96
2020-04-19 15:22:37,012 INFO fs.TestDFSIO: IO rate std deviation: 0.07
2020-04-19 15:22:37,012 INFO fs.TestDFSIO: Test exec time sec: 60.62
2020-04-19 15:22:37,012 INFO fs.TestDFSIO:
此时就可以回答,1T数据的上传速度:
1
∗
1024
∗
1024
M
B
9.96
M
B
/
S
\frac{1*1024*1024MB}{9.96MB/S}
9.96MB/S1∗1024∗1024MB
2.测试HDFS读性能
测试内容:读取HDFS集群10个128M的文件:
[zxy@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB
结果分析同上。
删除测试生成数据:
[zxy@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -clean
或者直接在web端删除:
3.使用Sort程序评测MapReduce
1)使用RandomWriter来产生随机数,每个节点运行10个Map任务(每个默认内存大小1G),每个Map产生大约1G大小的二进制随机数
[zxy@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar randomwriter random-data
2)执行Sort程序
[zxy@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar sort random-data sorted-data
3)验证数据是否真正排好序了
[zxy@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data
四.Hadoop参数调优
1.HDFS参数调优:hdfs-site.xml
NameNode有一个工作线程池,用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说,通常需要增大参数dfs.namenode.handler.count的默认值10。
1)dfs.namenode.handler.count:
- The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.
2)设置该值的一般原则是将其设置为集群大小的自然对数乘以20,即20logN,N为集群大小:
dfs.namenode.handler.count=20 * log2(Cluster Size)
- 比如集群规模为8台时,此参数设置为60
2.YARN参数调优:yarn-site.xml
NodeManager内存的相关优化图解:
1)情景描述:
- 总共7台机器,每天几亿条数据,数据源->Flume->Kafka->HDFS->Hive
2)面临问题:内存利用率不够
- 数据统计主要用HiveSQL,没有数据倾斜,小文件已经做了合并处理,开启的JVM重用,而且IO没有阻塞,内存用了不到50%。但是还是跑的非常慢,而且数据量洪峰过来时,整个集群都会宕掉。基于这种情况有没有优化方案。
3)解决办法:这个一般是Yarn的2个配置造成的
- ①单个任务可以申请的最大内存大小:
yarn.nodemanager.resource.memory-mb
- ②Hadoop单个节点可用内存大小:
yarn.scheduler.maximum-allocation-mb
调节这两个参数能提高系统内存的利用率:
- a)
yarn.nodemanager.resource.memory-mb
- Amount of physical memory, in MB, that can be allocated for containers. If set to -1 and yarn.nodemanager.resource.detect-hardware-capabilities is true, it is automatically calculated(in case of Windows and Linux). In other cases, the default is 8192MB
- 默认值为-1,由于
yarn.nodemanager.resource.detect-hardware-capabilities
(Enable auto-detection of node capabilities such as memory and CPU)默认false - 所以:其表示该节点上YARN可以分配给容器的物理内存总量,默认是8192MB(8G)
- 注意,如果你的节点内存资源不够8GB,则需要调减小这个值,而YARN不会智能的探测节点的物理内存总量。
- b)
yarn.scheduler.maximum-allocation-mb
- The maximum allocation for every container request at the RM in MBs. Memory requests higher than this will throw an InvalidResourceRequestException.
- 单个Task可申请的最多物理内存量,默认是8192(MB)
3.Hadoop宕机
1)如果MR造成系统宕机
- 此时要控制Yarn同时运行的任务数,和每个任务申请的最大内存。
- 调整参数:
yarn.scheduler.maximum-allocation-mb
2)如果写入文件过量造成NameNode宕机
- 那么调高Kafka的存储大小,控制从Kafka到HDFS的写入速度——bachsize。高峰期的时候用Kafka进行缓存,高峰期过去数据同步会自动跟上。
五.Hadoop优化总结
1.HDFS小文件影响
(1)影响NameNode的寿命,因为文件元数据存储在NameNode的内存中
(2)影响计算引擎的任务数量,比如每个小的文件都会生成一个Map任务
2.数据输入小文件处理
(1)合并小文件:对小文件进行归档(Har)、自定义Inputformat将小文件存储成SequenceFile文件。
(2)采用ConbinFileInputFormat来作为输入,解决输入端大量小文件场景。
(3)对于大量小文件Job,可以开启JVM重用。
3.Map阶段优化
(1)增大环形缓冲区大小。由100m扩大到200m
(2)增大环形缓冲区溢写的比例。由80%扩大到90%
(3)减少对溢写文件的merge次数。(10个文件,一次20个merge)
(4)不影响实际业务的前提下,采用Combiner提前合并,减少 I/O。
4.Reduce阶段优化
(1)合理设置Map和Reduce数:两个都不能设置太少,也不能设置太多。太少,会导致Task等待,延长处理时间;太多,会导致 Map、Reduce任务间竞争资源,造成处理超时等错误。
(2)设置Map、Reduce共存:调整slowstart.completedmaps参数,使Map运行到一定程度后,Reduce也开始运行,减少Reduce的等待时间。
(3)规避使用Reduce,因为Reduce在用于连接数据集的时候将会产生大量的网络消耗。
(4)增加每个Reduce去Map中拿数据的并行数
(5)集群性能可以的前提下,增大Reduce端存储数据内存的大小。
5.IO传输优化
(1)采用数据压缩的方式,减少网络IO的的时间。安装Snappy和LZOP压缩编码器。
(2)使用SequenceFile二进制文件
6.任务整体优化
(1)MapTask默认内存大小为1G,可以增加MapTask内存大小为4-5g
(2)ReduceTask默认内存大小为1G,可以增加ReduceTask内存大小为4-5g
(3)可以增加MapTask的cpu核数,增加ReduceTask的CPU核数
(4)增加每个Container的CPU核数和内存大小
(5)调整每个Map Task和Reduce Task最大重试次数
7.Hadoop参数调优
1)在hdfs-site.xml文件中配置多目录,最好提前配置好,否则更改目录需要重新启动集群
2)NameNode有一个工作线程池,用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。
dfs.namenode.handler.count=20 * log2(Cluster Size)
:比如集群规模为10台时,此参数设置为60
3)服务器节点上YARN可使用的物理内存总量,默认是8192(MB),注意,如果你的节点内存资源不够8GB,则需要调减小这个值,而YARN不会智能的探测节点的物理内存总量。
yarn.nodemanager.resource.memory-mb
4)单个任务可申请的最多物理内存量,默认是8192(MB)
yarn.scheduler.maximum-allocation-mb