Hadoop实践操作经验

一.HDFS存储多目录

1.适用场景：若HDFS存储空间紧张，需要对DataNode进行磁盘扩展

2.操作流程：

• 1）在DataNode节点增加磁盘并进行挂载：

  • df 查看系统整体磁盘使用情况：
  • 参考：Linux磁盘分区与挂载

• 2）在Hadoop的hdfs-site.xml文件中配置多目录

  <property>
      <name>dfs.datanode.data.dir</name>
  	<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
  </property>
  

• 3）开启数据均衡

  增加磁盘后，保证每个目录数据均衡：开启数据均衡命令：

  bin/start-balancer.sh -threshold 10
  

  参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。

• 4）停止数据均衡命令：

  bin/stop-balancer.sh
  

二.Hadoop支持LZO压缩配置

hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下：

1.hadoop-lzo编译

0.环境准备

• maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）
• 安装：
  • gcc-c++
  • zlib-devel
  • autoconf
  • automake
  • libtool

通过yum安装即可：

yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool

1.下载、安装并编译LZO

yum install -y wget
# 网络下载一个文件并保存在当前目录
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz
tar -zxvf lzo-2.10.tar.gz
cd lzo-2.10

#不懂
./configure -prefix=/usr/local/hadoop/lzo/

#不懂
make
make install

2.编译hadoop-lzo源码

1）下载hadoop-lzo的源码：

• 下载地址：https://github.com/twitter/hadoop-lzo/archive/master.zip

2）解压之后，修改pom.xml

<hadoop.current.version>3.1.3</hadoop.current.version>

3）声明两个临时环境变量

export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include
export LIBRARY_PATH=/usr/local/hadoop/lzo/lib 

4）编译

#进入hadoop-lzo-master，执行maven编译命令
mvn package -Dmaven.test.skip=true

5）进入target，hadoop-lzo-0.4.21-SNAPSHOT.jar 即编译成功的hadoop-lzo组件

2.Hadoop配置

1）将编译好后的hadoop-lzo-0.4.20.jar 放入$HADOOP_HOME/share/hadoop/common/

[zxy@hadoop102 common]$ pwd
/opt/module/hadoop-3.1.3/share/hadoop/common
[zxy@hadoop102 common]$ ls
hadoop-lzo-0.4.20.jar

2）同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104

[zxy@hadoop102 common]$ xsync hadoop-lzo-0.4.20.jar

3）core-site.xml增加配置支持LZO压缩

<configuration>
	<property>
		<name>io.compression.codecs</name>
		<value>
		org.apache.hadoop.io.compress.GzipCodec,
		org.apache.hadoop.io.compress.DefaultCodec,
		org.apache.hadoop.io.compress.BZip2Codec,
		org.apache.hadoop.io.compress.SnappyCodec,
		com.hadoop.compression.lzo.LzoCodec,
		com.hadoop.compression.lzo.LzopCodec
		</value>
	</property>
	
	<property>
	    <name>io.compression.codec.lzo.class</name>
	    <value>com.hadoop.compression.lzo.LzoCodec</value>
	</property>
</configuration>

4）同步core-site.xml到hadoop103、hadoop104

[zxy@hadoop102 hadoop]$ xsync core-site.xml

5）启动及查看集群

[zxy@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[zxy@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

3.LZO创建索引

LZO压缩文件的可切片特性依赖于其索引，故我们需要手动为LZO压缩文件创建索引。若无索引，则LZO文件的切片只有一个。创建LZO文件索引的方法：

# /big_file.lzo是集群上的路径
hadoop jar /path/to/your/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer /big_file.lzo

测试案例：

1）将bigtable.lzo（150M）上传到集群的根目录，并执行wordcount程序

• 此时MapReduce的切片只有一个

[zxy@hadoop102 module]$ hadoop fs -mkdir /input
[zxy@hadoop102 module]$ hadoop fs -put bigtable.lzo /input
[zxy@hadoop102 module]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output1

2）对上传的LZO文件建索引，再次执行WordCount程序

• 此时MapReduce可以对文件进行切片

[zxy@hadoop102 module]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar  com.hadoop.compression.lzo.DistributedLzoIndexer /input/bigtable.lzo
[zxy@hadoop102 module]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output2

三.Hadoop基准测试：HDFS压力测试

在企业开发基准测试非常重要。不测试行不行?项目经理问:输入端有1T的数据，问：多长时间能把数据上传到集群，假如说1个小时，那100T数据呢？

目标：对自己的架构要有一个清晰的了解，做到心中有数

1.测试HDFS写性能

测试内容：向HDFS集群写10个128M的文件

[zxy@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

输出结果：吞吐量 MB/S

• Throughput mb/sec：9.96

2020-04-19 15:22:36,905 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2020-04-19 15:22:37,009 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
2020-04-19 15:22:37,010 INFO fs.TestDFSIO:             Date & time: Sun Apr 19 15:22:36 CST 2020
2020-04-19 15:22:37,011 INFO fs.TestDFSIO:         Number of files: 10
2020-04-19 15:22:37,011 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2020-04-19 15:22:37,012 INFO fs.TestDFSIO:       Throughput mb/sec: 9.96
2020-04-19 15:22:37,012 INFO fs.TestDFSIO:  Average IO rate mb/sec: 9.96
2020-04-19 15:22:37,012 INFO fs.TestDFSIO:   IO rate std deviation: 0.07
2020-04-19 15:22:37,012 INFO fs.TestDFSIO:      Test exec time sec: 60.62
2020-04-19 15:22:37,012 INFO fs.TestDFSIO: 

此时就可以回答，1T数据的上传速度：
$$\frac{1\ast 1024\ast 1024MB}{9.96MB/S}$$

2.测试HDFS读性能

测试内容：读取HDFS集群10个128M的文件：

[zxy@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

结果分析同上。

删除测试生成数据：

[zxy@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -clean

或者直接在web端删除：

3.使用Sort程序评测MapReduce

1）使用RandomWriter来产生随机数，每个节点运行10个Map任务（每个默认内存大小1G），每个Map产生大约1G大小的二进制随机数

[zxy@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar randomwriter random-data

2）执行Sort程序

[zxy@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar sort random-data sorted-data

3）验证数据是否真正排好序了

[zxy@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data

四.Hadoop参数调优

1.HDFS参数调优:hdfs-site.xml

NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count的默认值10。

1）dfs.namenode.handler.count：

• The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.

2）设置该值的一般原则是将其设置为集群大小的自然对数乘以20，即20logN，N为集群大小：

• dfs.namenode.handler.count=20 * log2(Cluster Size)
• 比如集群规模为8台时，此参数设置为60

2.YARN参数调优:yarn-site.xml

NodeManager内存的相关优化图解：

1）情景描述：

• 总共7台机器，每天几亿条数据，数据源->Flume->Kafka->HDFS->Hive

2）面临问题：内存利用率不够

• 数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。

3）解决办法：这个一般是Yarn的2个配置造成的

• ①单个任务可以申请的最大内存大小：yarn.nodemanager.resource.memory-mb
• ②Hadoop单个节点可用内存大小：yarn.scheduler.maximum-allocation-mb

调节这两个参数能提高系统内存的利用率：

• a）yarn.nodemanager.resource.memory-mb
  • Amount of physical memory, in MB, that can be allocated for containers. If set to -1 and yarn.nodemanager.resource.detect-hardware-capabilities is true, it is automatically calculated(in case of Windows and Linux). In other cases, the default is 8192MB
  • 默认值为-1，由于yarn.nodemanager.resource.detect-hardware-capabilities（Enable auto-detection of node capabilities such as memory and CPU）默认false
  • 所以：其表示该节点上YARN可以分配给容器的物理内存总量，默认是8192MB（8G）
  • 注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。
• b）yarn.scheduler.maximum-allocation-mb
  • The maximum allocation for every container request at the RM in MBs. Memory requests higher than this will throw an InvalidResourceRequestException.
  • 单个Task可申请的最多物理内存量，默认是8192（MB）

3.Hadoop宕机

1）如果MR造成系统宕机

• 此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。
• 调整参数：yarn.scheduler.maximum-allocation-mb

2）如果写入文件过量造成NameNode宕机

• 那么调高Kafka的存储大小，控制从Kafka到HDFS的写入速度——bachsize。高峰期的时候用Kafka进行缓存，高峰期过去数据同步会自动跟上。

五.Hadoop优化总结

1.HDFS小文件影响

（1）影响NameNode的寿命，因为文件元数据存储在NameNode的内存中
（2）影响计算引擎的任务数量，比如每个小的文件都会生成一个Map任务

2.数据输入小文件处理

（1）合并小文件：对小文件进行归档（Har）、自定义Inputformat将小文件存储成SequenceFile文件。
（2）采用ConbinFileInputFormat来作为输入，解决输入端大量小文件场景。
（3）对于大量小文件Job，可以开启JVM重用。

3.Map阶段优化

（1）增大环形缓冲区大小。由100m扩大到200m
（2）增大环形缓冲区溢写的比例。由80%扩大到90%
（3）减少对溢写文件的merge次数。（10个文件，一次20个merge）
（4）不影响实际业务的前提下，采用Combiner提前合并，减少 I/O。

4.Reduce阶段优化

（1）合理设置Map和Reduce数：两个都不能设置太少，也不能设置太多。太少，会导致Task等待，延长处理时间；太多，会导致 Map、Reduce任务间竞争资源，造成处理超时等错误。
（2）设置Map、Reduce共存：调整slowstart.completedmaps参数，使Map运行到一定程度后，Reduce也开始运行，减少Reduce的等待时间。
（3）规避使用Reduce，因为Reduce在用于连接数据集的时候将会产生大量的网络消耗。
（4）增加每个Reduce去Map中拿数据的并行数
（5）集群性能可以的前提下，增大Reduce端存储数据内存的大小。

5.IO传输优化

（1）采用数据压缩的方式，减少网络IO的的时间。安装Snappy和LZOP压缩编码器。
（2）使用SequenceFile二进制文件

6.任务整体优化

（1）MapTask默认内存大小为1G，可以增加MapTask内存大小为4-5g
（2）ReduceTask默认内存大小为1G，可以增加ReduceTask内存大小为4-5g
（3）可以增加MapTask的cpu核数，增加ReduceTask的CPU核数
（4）增加每个Container的CPU核数和内存大小
（5）调整每个Map Task和Reduce Task最大重试次数

7.Hadoop参数调优

1）在hdfs-site.xml文件中配置多目录，最好提前配置好，否则更改目录需要重新启动集群
2）NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。

• dfs.namenode.handler.count=20 * log2(Cluster Size)：比如集群规模为10台时，此参数设置为60

3）服务器节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。

• yarn.nodemanager.resource.memory-mb

4）单个任务可申请的最多物理内存量，默认是8192（MB）

• yarn.scheduler.maximum-allocation-mb