Hadoop相关面试题总结

Hadoop常用端口号：

dfs.namenode.http-address:50070

dfs.datanode.http-address:50075

SecondaryNameNode辅助名称节点端口号：50090

dfs.datanode.address:50010

fs.defaultFS:8020或9000

yarn.resourcemanager.webapp.address:8088

历史服务器web访问端口：19888

hdfs读流程和写流程

读流程：

1.客户端向主节点（namenode）发送文件下载请求

2.namenode收到并确认请求，返回目标文件的元数据信息

3.客户端通过文件的元数据信息向datanode发送读数据请求

4.datanode确认请求并给客户端传输数据

写流程：

1.客户端向namenode发送上传文件请求

2.namenode响应请求，可以上传文件

3.客户端请求上传第一个Block（0-128M），请返回Datanode

4.namenode返回dn1，dn2，dn3节点，表示客户端可以采用这三个节点存储数据

5.客户端收到存储节点信息后，向节点请求建立Block传输通道

6.datanode应答客户端请求，开始传输数据（Packet）

MapReduce的Shuffle过程及Hadoop优化

一、Shuffle机制

1）Map方法之后Reduce方法之前这段处理过程叫Shuffle

2）Map方法之后，数据首先进入到分区方法，把数据标记号分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小 100m，环形缓冲区达到 80%时，进行溢写；溢写前对数据进行排序，排序按照对 key 的索引进行字典顺序排序，排序的手段快排；溢写产生大量溢写文件，需要对溢写文件进行归并排序；对溢写的文件也可以进行 Combiner 操作，前提是汇总操作，求平均值不行。最后将文件按照分区存储到磁盘，等待 Reduce 端拉取。

3）每个 Reduce 拉取 Map 端对应分区的数据。拉取数据后先存储到内存中，内存不够了，再存储到磁盘。拉取完所有数据后，采用归并排序将内存和磁盘中的数据都进行排序。在进Reduce 方法前，可以对数据进行分组操作。

二、Hadoop优化

0）HDFS小文件影响

​ （1）影响Namenode的寿命，因为文件元数据存储在NameNode的内存中

​ （2）影响计算引擎的任务数量，比如每个小的文件都会生成一个Map任务

1）数据输入小文件处理：

​ （1）合并小文件：对小文件进行归档（Har）、自定义Inputformat将小文件存储文SequenceFile文件

​ （2）采用ConbinFileInputformat来作为输入，解决输入端大量小文件的场景

​ （3）对于大量小文件Job，可以开启JVM重用。

2）Map阶段

​ （1）增大环形缓冲区大小。由100m扩大到200m

​ （2）增大环形缓冲区溢写的比例。由80%扩大到90%

​ （3）减少对溢写文件的merge次数。（由10个文件，一次20个merge）

​ （4）不影响实际业务的前提下，采用Combiner提前合并，减少I/O

3)Reduce阶段

​ （1）合理设置 Map 和 Reduce 数：两个都不能设置太少，也不能设置太多。太少，会

导致 Task 等待，延长处理时间；太多，会导致 Map、Reduce 任务间竞争资源，造成处理超

时等错误。

（2）设置 Map、Reduce 共存：调整 slowstart.completedmaps 参数，使 Map 运行到一定

程度后，Reduce 也开始运行，减少 Reduce 的等待时间。

（3）规避使用 Reduce，因为 Reduce 在用于连接数据集的时候将会产生大量的网络消

耗。

（4）增加每个 Reduce 去 Map 中拿数据的并行数

（5）集群性能可以的前提下，增大 Reduce 端存储数据内存的大小。

4）IO传输

（1）采用数据压缩的方式，减少网络 IO 的的时间。安装 Snappy 和 LZOP 压缩编码

器。

（2）使用 SequenceFile 二进制文件

5）整体

（1）MapTask 默认内存大小为 1G，可以增加 MapTask 内存大小为 4-5g

（2）ReduceTask 默认内存大小为 1G，可以增加 ReduceTask 内存大小为 4-5g

（3）可以增加 MapTask 的 cpu 核数，增加 ReduceTask 的 CPU 核数

（4）增加每个 Container 的 CPU 核数和内存大小

（5）调整每个 Map Task 和 Reduce Task 最大重试次数

三、切片机制

1）简单的按照文件的内容长度进行切片

2）切片大小，默认等于Block大小

3）切片是不考虑数据集整体，而是逐个针对每一个文件单独切片

提示：切片大小公式：max（0，min（Long_max,blockSize))

四、Yarn的Job提交流程

五、Yarn 的默认调度器、调度器分类、以及他们之间的区别

1）Hadoop 调度器重要分为三类：FIFO 、Capacity Scheduler（容量调度器）和 Fair Sceduler（公平调度器）。

PS:Hadoop2.7.2 默认的资源调度器是 容量调度器

2）区别：

FIFO 调度器：先进先出，同一时间队列中只有一个任务在执行。

容量调度器：多队列；每个队列内部先进先出，同一时间队列中只有一个任务在执行。

队列的并行度为队列的个数。

公平调度器：多队列；每个队列内部按照缺额大小分配资源启动任务，同一时间队列中有多个任务执行。队列的并行度大于等于队列的个数。

注意：一定要强调生产环境中不是使用的 FifoScheduler，面试的时侯会发现候选人大概了解这

几种调度器的区别，但是问在生产环境用哪种，却说使用的 FifoScheduler（企业生产环境一定不会用这个调度的）

六、Hadoop 解决数据倾斜方法

1）提前在map进行 combine，减少传输的数据量

在 Mapper 加上 combiner 相当于提前进行 reduce，即把一个 Mapper 中的相同 key 进行

了聚合，减少 shuffle 过程中传输的数据量，以及 Reducer 端的计算量。

如果导致数据倾斜的 key 大量分布在不同的 mapper 的时候，这种方法就不是很有效了。

2）导致数据倾斜的 key 大量分布在不同的 mapper

（1）局部聚合加全局聚合。

第一次在 map 阶段对那些导致了数据倾斜的 key 加上 1 到 n 的随机前缀，这样本来相

同的 key 也会被分到多个 Reducer 中进行局部聚合，数量就会大大降低。

第二次 mapreduce，去掉 key 的随机前缀，进行全局聚合。

思想：二次 mr，第一次将 key 随机散列到不同 reducer 进行处理达到负载均衡目的。第

二次再根据去掉 key 的随机前缀，按原 key 进行 reduce 处理。

这个方法进行两次 mapreduce，性能稍差。

（2）增加 Reducer，提升并行度

JobConf.setNumReduceTasks(int)

（3）实现自定义分区

根据数据分布情况，自定义散列函数，将 key 均匀分配到不同 Reducer