【Hadoop-优化】数据压缩，压缩方式，常用的参数调优，MR优化方式，3.x新特性

一、数据压缩，压缩方式，压缩参数配置

1.1 概述

压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、 Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。

鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。可以在任意MapReduce阶段启用压缩。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。

压缩是提高Hadoop运行效率的一种优化策略。

通过对Mapper、Reducer运行过程的数据进行压缩，以减少磁盘IO，提高MR程序运行速度。

注意：采用压缩技术减少了磁盘IO，但同时增加了CPU运算负担。所以，压缩特性运用得当能提高性能，但运用不当也可能降低性能。

压缩基本原则：

（1）运算密集型的job，少用压缩

（2）IO密集型的job，多用压缩

1.2 MR支持的压缩编码

压缩格式	hadoop自带？	算法	文件扩展名	是否可切分	换成压缩格式后，原来的程序是否需要修改
DEFLATE	是，直接使用	DEFLATE	.deflate	否	和文本处理一样，不需要修改
Gzip	是，直接使用	DEFLATE	.gz	否	和文本处理一样，不需要修改
bzip2	是，直接使用	bzip2	.bz2	是	和文本处理一样，不需要修改
LZO	否，需要安装	LZO	.lzo	是	需要建索引，还需要指定输入格式
Snappy	是，直接使用	Snappy	.snappy	否	和文本处理一样，不需要修改

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示。

压缩格式	对应的编码/解码器
DEFLATE	org.apache.hadoop.io.compress.DefaultCodec
gzip	org.apache.hadoop.io.compress.GzipCodec
bzip2	org.apache.hadoop.io.compress.BZip2Codec
LZO	com.hadoop.compression.lzo.LzopCodec
Snappy	org.apache.hadoop.io.compress.SnappyCodec

压缩性能的比较

压缩算法	原始文件大小	压缩文件大小	压缩速度	解压速度
gzip	8.3GB	1.8GB	17.5MB/s	58MB/s
bzip2	8.3GB	1.1GB	2.4MB/s	9.5MB/s
LZO	8.3GB	2.9GB	49.3MB/s	74.6MB/s

1.3 压缩方式选择

1.3.1 Gzip压缩

• 优点：压缩率比较高，而且压缩/解压速度也比较快；Hadoop本身支持，在应用中处理Gzip格式的文件就和直接处理文本一样；大部分Linux系统都自带Gzip命令，使用方便。

• 缺点：不支持Split。

应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用Gzip压缩格式。例如说一天或者一个小时的日志压缩成一个Gzip文件。

1.3.2 Bzip2压缩

• 优点：支持Split；具有很高的压缩率，比Gzip压缩率都高；Hadoop本身自带，使用方便。

• 缺点：压缩/解压速度慢。

应用场景：适合对速度要求不高，但需要较高的压缩率的时候；或者输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况；或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持Split，而且兼容之前的应用程序的情况。

1.3.3 Lzo压缩

• 优点：压缩/解压速度也比较快，合理的压缩率；支持Split，是Hadoop中最流行的压缩格式；可以在Linux系统下安装lzop命令，使用方便。

• 缺点：压缩率比Gzip要低一些；Hadoop本身不支持，需要安装；在应用中对Lzo格式的文件需要做一些特殊处理（为了支持Split需要建索引，还需要指定InputFormat为Lzo格式）。

应用场景：一个很大的文本文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，Lzo优点越越明显。

1.3.4 Snappy压缩

• 优点：高速压缩速度和合理的压缩率。

• 缺点：不支持Split；压缩率比Gzip要低；Hadoop2版本不支持，需要安装，Hadoop3版本已经自带支持

应用场景：当MapReduce作业的Map输出的数据比较大的时候，作为Map到Reduce的中间数据的压缩格式；或者作为一个MapReduce作业的输出和另外一个MapReduce作业的输入。

1.4 压缩位置选择

1.5 压缩参数配置

要在Hadoop中启用压缩，可以配置如下参数：

参数	阶段	默认值
io.compression.codecs （在core-site.xml中配置）	输入压缩	无，这个需要在命令行 输入hadoop checknative查看
mapreduce.map.output.compress （在mapred-site.xml中配置）	mapper输出	false
mapreduce.map.output.compress.codec （在mapred-site.xml中配置）	mapper输出	org.apache.hadoop.io .compress.DefaultCodec
mapreduce.output.fileoutputformat.compress （在mapred-site.xml中配置）	reducer输出	false
mapreduce.output.fileoutputformat.compress.codec （在mapred-site.xml中配置）	reducer输出	org.apache.hadoop.io .compress.DefaultCodec
mapreduce.output.fileoutputformat.compress.type （在mapred-site.xml中配置）	reducer输出	RECORD

二、常用的参数调优，MR优化方式

2.1 MapReduce 跑的慢的原因

MapReduce 程序效率的瓶颈在于两点：

1、计算机性能

CPU、内存、磁盘健康、网络

2、I/O 操作优化

（1）数据倾斜

（2）Map和Reduce数设置不合理

（3）Map运行时间太长，导致Reduce等待过久

（4）小文件过多

（5）大量的不可切片的超大压缩文件

（6）Spill次数过多

（7）Merge次数过多等。

2.2 MapReduce优化方法

MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。

2.2.1 数据输入

1. 合并小文件：在执行MR任务前将小文件进行合并，大量的小文件会产生大量的Map任务，增大Map任务装载次数，而任务的装载比较耗时，从而导致MR运行较慢。
2. 采用CombineTextInputFormat来作为输入，解决输入端大量小文件场景。

2.2.2 Map阶段

1. 减少溢写（Spill）次数：通过调整mapreduce.task.io.sort.mb及mapreduce.map.sort.spill.percent参数值，增大触发 Spill的内存上限，减少 Spill次数，从而减少磁盘 IO。
2. 减少合并（Merge）次数：通过调整mapreduce.task.io.sort.factor参数，增大 Merge的文件大小，减少Merge的次数，从而缩短MR处理时间。
3. 在Map之后，不影响业务逻辑前提下，先进行Combine处理，减少 I/O。

2.2.3 Reduce阶段

1. 合理设置Map和Reduce数：两个都不能设置太少，也不能设置太多。太少，会导致Task等待，延长处理时间；太多，会导致Map、Reduce任务间竞争资源，造成处理超时等错误。
2. 设置Map、Reduce共存：调整mapreduce.job.reduce.slowstart.completedmaps参数，使Map运行到一定程度后，Reduce也开始运行，减少Reduce的等待时间。
3. 规避使用Reduce：因为Reduce在用于连接数据集的时候将会产生大量的网络消耗。
4. 合理设置Reduce端的Buffer：默认情况下，数据达到一个阈值的时候，Buffer中的数据就会写入磁盘，然后Reduce会从磁盘中获得所有的数据。也就是说，Buffer和Reduce是没有直接关联的，中间多次写磁盘->读磁盘的过程，既然有这个弊端，那么就可以通过参数来配置，使得Buffer中的一部分数据可以直接输送到Reduce，从而减少IO开销。

2.2.4 I/O传输

1. 采用数据压缩的方式，减少网络IO的的时间。安装Snappy和LZO压缩编码器。
2. 使用SequenceFile二进制文件。

2.2.5 数据倾斜问题

数据倾斜现象

• 数据频率倾斜：某一个区域的数据量要远远大于其他区域。
• 数据大小倾斜：部分记录的大小远远大于平均值。

减少数据倾斜的方法

1. 抽样和范围分区，可以通过对原始数据进行抽样得到的结果集来预设分区边界值。
2. 自定义分区，基于输出键的背景知识进行自定义分区。例如，如果Map输出键的单词来源于一本书。且其中某几个专业词汇较多。那么就可以自定义分区将这这些专业词汇发送给固定的一部分Reduce实例。而将其他的都发送给剩余的Reduce实例。
3. 使用Combiner可以大量地减小数据倾斜。在可能的情况下，Combine的目的就是聚合并精简数据。
4. 采用Map Join，尽量避免Reduce Join。

2.3 常用的调优参数

1）资源相关参数

（1）以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）

配置参数	参数说明
mapreduce.map.memory.mb	一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。
mapreduce.reduce.memory.mb	一个ReduceTask可使用的资源上限（单位:MB），默认为1024。如果ReduceTask实际使用的资源量超过该值，则会被强制杀死。
mapreduce.map.cpu.vcores	每个MapTask可使用的最多cpu core数目，默认值: 1
mapreduce.reduce.cpu.vcores	每个ReduceTask可使用的最多cpu core数目，默认值: 1
mapreduce.reduce.shuffle.parallelcopies	每个Reduce去Map中取数据的并行数。默认值是5
mapreduce.reduce.shuffle.merge.percent	Buffer中的数据达到多少比例开始写入磁盘。默认值0.66
mapreduce.reduce.shuffle.input.buffer.percent	Buffer大小占Reduce可用内存的比例。默认值0.7
mapreduce.reduce.input.buffer.percent	指定多少比例的内存用来存放Buffer中的数据，默认值是0.0

（2）应该在YARN启动之前就配置在服务器的配置文件中才能生效（yarn-default.xml）

配置参数	参数说明
yarn.scheduler.minimum-allocation-mb	给应用程序Container分配的最小内存，默认值：1024
yarn.scheduler.maximum-allocation-mb	给应用程序Container分配的最大内存，默认值：8192
yarn.scheduler.minimum-allocation-vcores	每个Container申请的最小CPU核数，默认值：1
yarn.scheduler.maximum-allocation-vcores	每个Container申请的最大CPU核数，默认值：32
yarn.nodemanager.resource.memory-mb	给Containers分配的最大物理内存，默认值：8192

（3）Shuffle性能优化的关键参数，应在YARN启动之前就配置好（mapred-default.xml）

配置参数	参数说明
mapreduce.task.io.sort.mb	Shuffle的环形缓冲区大小，默认100m
mapreduce.map.sort.spill.percent	环形缓冲区溢出的阈值，默认80%

2）容错相关参数（MapReduce性能优化）

配置参数	参数说明
mapreduce.map.maxattempts	每个Map Task最大重试次数，一旦重试次数超过该值，则认为Map Task运行失败，默认值：4。
mapreduce.reduce.maxattempts	每个Reduce Task最大重试次数，一旦重试次数超过该值，则认为Map Task运行失败，默认值：4。
mapreduce.task.timeout	Task超时时间，经常需要设置的一个参数，该参数表达的意思为：如果一个Task在一定时间内没有任何进入，即不会读取新的数据，也没有输出数据，则认为该Task处于Block状态，可能是卡住了，也许永远会卡住，为了防止因为用户程序永远Block住不退出，则强制设置了一个该超时时间（单位毫秒），默认是600000（10分钟）。如果你的程序对每条输入数据的处理时间过长（比如会访问数据库，通过网络拉取数据等），建议将该参数调大，该参数过小常出现的错误提示是：“AttemptID:attempt_14267829456721_123456_m_000224_0 Timed out after 300 secsContainer killed by the ApplicationMaster.”。

2.4 Hadoop小文件优化方法

2.4.1 Hadoop小文件弊端

HDFS上每个文件都要在NameNode上创建对应的元数据，这个元数据的大小约为150byte，这样当小文件比较多的时候，就会产生很多的元数据文件，一方面会大量占用NameNode的内存空间，另一方面就是元数据文件过多，使得寻址索引速度变慢。

小文件过多，在进行MR计算时，会生成过多切片，需要启动过多的MapTask。每个MapTask处理的数据量小，导致MapTask的处理时间比启动时间还小，消耗资源。

2.4.2 Hadoop小文件解决方案

1. 小文件优化的方向：

   ① 在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。
   ② 在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并。
   ③ 在MapReduce处理时，可采用CombineTextInputFormat提高效率。
   ④ 开启uber模式，实现jvm重用。

2. Hadoop Archive

   ① 是一个高效的将小文件放入HDFS块中的文件存档工具，能够将多个小文件打包成一个HAR文件，从而达到减少NameNode的内存使用

3. SequenceFile

   ① SequenceFile是由一系列的二进制k/v组成，如果为key为文件名，value为文件内容，可将大批小文件合并成一个大文件

4. CombineTextInputFormat

   ① CombineTextInputFormat用于将多个小文件在切片过程中生成一个单独的切片或者少量的切片。

5. 开启uber模式，实现jvm重用。默认情况下，每个Task任务都需要启动一个jvm来运行，如果Task任务计算的数据量很小，我们可以让同一个Job的多个Task运行在一个Jvm中，不必为每个Task都开启一个Jvm。

开启uber模式，在mapred-site.xml中添加如下配置

<!--  开启uber模式 -->
<property>
  <name>mapreduce.job.ubertask.enable</name>
  <value>true</value>
</property>

<!-- uber模式中最大的mapTask数量，可向下修改  --> 
<property>
  <name>mapreduce.job.ubertask.maxmaps</name>
  <value>9</value>
</property>
<!-- uber模式中最大的reduce数量，可向下修改 -->
<property>
  <name>mapreduce.job.ubertask.maxreduces</name>
  <value>1</value>
</property>
<!-- uber模式中最大的输入数据量，默认使用dfs.blocksize 的值，可向下修改 -->
<property>
  <name>mapreduce.job.ubertask.maxbytes</name>
  <value></value>
</property>

三、Hadoop新特性

3.1 Hadoop2.x新特性

3.1.1 集群间数据拷贝

1）scp实现两个远程主机之间的文件复制

//推 push
scp -r hello.txt root@hadoop103:/user/qinjl/hello.txt

//拉 pull
scp -r root@hadoop103:/user/qinjl/hello.txt  hello.txt

//是通过本地主机中转实现两个远程主机的文件复制；如果在两个远程主机之间ssh没有配置的情况下可以使用该方式。
scp -r root@hadoop103:/user/qinjl/hello.txt root@hadoop104:/user/qinjl

2）采用distcp命令实现两个Hadoop集群之间的递归数据复制

[qinjl@hadoop102 hadoop-3.1.3]$  bin/hadoop distcp hdfs://hadoop102:9820/user/qinjl/hello.txt hdfs://hadoop105:9820/user/qinjl/hello.txt

3.1.2 小文件存档

1）案例实操

（1）需要启动YARN进程

[qinjl@hadoop102 hadoop-3.1.3]$ start-yarn.sh

（2）归档文件

• 把/user/qinjl/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/user/qinjl/output路径下。

[qinjl@hadoop102 hadoop-3.1.3]$ hadoop archive -archiveName input.har -p  /user/qinjl/input  /user/qinjl/output

（3）查看归档

[qinjl@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /user/qinjl/output/input.har
[qinjl@hadoop102 hadoop-3.1.3]$ hadoop fs -ls har:///user/qinjl/output/input.har

（4）解归档文件

[qinjl@hadoop102 hadoop-3.1.3]$ hadoop fs -cp har:/// user/qinjl/output/input.har/*    /user/qinjl

3.1.3 回收站

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。

1）回收站参数设置及工作机制

2）启用回收站

修改core-site.xml，配置垃圾回收时间为1分钟。

<property>
    <name>fs.trash.interval</name>
	<value>1</value>
</property>

3）查看回收站

回收站目录在hdfs集群中的路径：/user/qinjl/.Trash/…

4）通过程序删除的文件不会经过回收站，需要调用moveToTrash()才进入回收站

Trash trash = New Trash(conf);
trash.moveToTrash(path);

5）通过网页上直接删除的文件也不会走回收站。

6）只有在命令行利用hadoop fs -rm命令删除的文件才会走回收站。

[qinjl@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /user/qinjl/input

2020-07-14 16:13:42,643 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hadoop102:9820/user/qinjl/input' to trash at: hdfs://hadoop102:9820/user/qinjl/.Trash/Current/user/qinjl/input

7）恢复回收站数据

[qinjl@hadoop102 hadoop-3.1.3]$ hadoop fs -mv
/user/qinjl/.Trash/Current/user/qinjl/input  /user/qinjl/input

3.2 Hadoop3.x新特性

3.2.1 多NN的HA架构

HDFS NameNode高可用性的初始实现为单个活动NameNode和单个备用NameNode，将edits复制到三个JournalNode。该体系结构能够容忍系统中一个NN或一个JN的故障。

但是，某些部署需要更高程度的容错能力。Hadoop3.x允许用户运行多个备用NameNode。例如，通过配置三个NameNode和五个JournalNode，群集能够容忍两个节点而不是一个节点的故障。

3.2.2 纠删码

HDFS中的默认3副本方案在存储空间和其他资源（例如，网络带宽）中具有200％的开销。但是，对于IO活动相对较低暖和冷数据集，在正常操作期间很少访问其他块副本，但仍会消耗与第一个副本相同的资源量。

纠删码（Erasure Coding）能够在不到50% 的数据冗余情况下提供和3副本相同的容错能力，因此，使用纠删码作为副本机制的改进是自然而然的。

• 查看集群支持的纠删码策略：hdfs ec -listPolicies