Hadoop优化（高频面试题）

Hadoop优化（高频面试题）

1. MapReduce 跑的慢的原因

2. MapReduce优化方法

MapReduce优化方法主要从六个方面考虑：

数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。

2.1 数据输入

2.2 map阶段

mapreduce.task.io.sort.mb —> Shuffle的环形缓冲区大小，默认100m

mapreduce.map.sort.spill.percent—>环形缓冲区溢出的阈值，默认80%

mapreduce.map.sort.factor—>在进行文件合并过程中，MapTask以分区为单位进行合并。对于某个分区，它将采用多轮递归合并的方式。每轮合并mapreduce.task.io.sort.factor（默认10）个文件，并将产生的文件重新加入待合并列表中，对文件排序后，重复以上过程，直到最终得到一个大文件。

2.3Reduce阶段

(1)maptask是切片数决定，reduce数是人为设定（手设），如果不考虑分区的情况下，需要经过测试，哪个最快就设为多少。

(2)一般情况是map运行完之后在运行reduce，通过设定这个参数，慢启动，这个参数默认是0.

(3)尽量多使用Mapjoin，要注意设定reduce任务数为0。没有Reduce就没有shufll过程，自然就快了很多。

就是集群性能可以的前提下，增大 Reduce 端存储数据内存的大小。这样存储在内存的数据，就会直接传递给reduce方法，就不会把数据传递给磁盘，这样，提速。

2.4 I/O传输

（2）没什么人用了。

2.5 数据倾斜问题

3. 常用的调优参数

1）资源相关参数

（1）以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）

（2）应该在YARN启动之前就配置在服务器的配置文件中才能生效（yarn-default.xml）

（3）Shuffle性能优化的关键参数，应在YARN启动之前就配置好（mapred-default.xml）

2）容错相关参数（MapReduce性能优化）

4. Hadoop小文件优化方法

4.1 Hadoop小文件弊端

HDFS上每个文件都要在NameNode上创建对应的元数据，这个元数据的大小约为150byte，这样当小文件比较多的时候，就会产生很多的元数据文件，一方面会大量占用NameNode的内存空间，另一方面就是元数据文件过多，使得寻址索引速度变慢。

小文件过多，在进行MR计算时，会生成过多切片，需要启动过多的MapTask。每个MapTask处理的数据量小，导致MapTask的处理时间比启动时间还小，白白消耗资源。

4.2 Hadoop小文件解决方案

• 小文件优化的方向：

（1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。

（2）在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并。文件夹里有100个小文件，CombineTextInputFormat，一个reducer，map就读就写，reduce就读就写，比etl简单，etl要判断，这个不判断。。

（3）在MapReduce处理时，可采用CombineTextInputFormat提高效率。

（4）开启uber模式，实现jvm重用

• Hadoop Archive

是一个高效的将小文件放入HDFS块中的文件存档工具，能够将多个小文件打包成一个HAR文件，从而达到减少NameNode的内存使用

• CombineTextInputFormat

CombineTextInputFormat用于将多个小文件在切片过程中生成一个单独的切片或者少量的切片。

• 开启uber模式，实现jvm重用。默认情况下，每个Task任务都需要启动一个jvm来运行，如果Task任务计算的数据量很小，我们可以让同一个Job的多个Task运行在一个Jvm中，不必为每个Task都开启一个