面试题系列-Hadoop

面试题系列-Hadoop

1 HDFS

1.1 HDFS读写流程

两个类：

DistributedFileSystem 分布式文件系统类

FSDataInputStream 文件传输类

1.1.1 HDFS读流程

1. 客户端向namenode发送请求，读取文件，namenode将文件所在的文件块及文件块所在的datanode等元数据信息返回
2. 客户端向相应DataNode发送读取文件块的请求，DataNode返回数据

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IWvFA6ET-1627015758640)(Hadoop.assets/image-20210710112832467.png)]

1.1.2 HDFS写流程

1. client向NameNode发送请求上传文件，NameNode相应可以上传
2. client向NameNode请求上传第一个文件块,Name返回3个DataNode节点信息
3. client和DataNode1建立传输通道，传输数据
4. 传输完成后，DataNode1节点和其他节点建立传输通道，同步数据

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5ywAkrDL-1627015758642)(Hadoop.assets/image-20210710112815420.png)]

2 MR

2.1 MR Shuffle

1. 数据分块，每个分块对应一个map，在map内对数据进行逻辑处理，输出数据为（K，V）结构
2. map方法后，数据首先进入到分区方法，把数据打好分区标记
3. 然后把数据发送到环形缓冲区，环形缓冲区默认100M，环形缓冲区到达0.8，进行溢写，溢写前对数据进行快排
4. 溢写产生大量小文件，对小文件进行归并排序，做文件合并
5. 对溢写文件也可以进行combiner操作，只能做汇总
6. reduce端拉取相应分区的文件，拉取完成后做归并排序

2.2 MR优化

2.2.1 输入端小文件多

1. 采用CombineInputFormat,输入时做文件合并

2.2.2 MR数据倾斜

• 跑两次MR

1. 第一次MR给数据倾斜的key加随机数前缀，这样本来相同的key也会分散到多个reduce中
2. 第二次MR去掉随机前缀，进行全局聚合，输入的数据量会大大减小

• 增加reduce，提高并行度
• 提前进行combiner
• 自定义分区

3 YARN

3.1 YARN提交任务流程

1. client向RM发出请求启动appMaster，RM在合适的节点创建一个Container启动appMaster，把Job资源信息下载到本地
2. appMaster按Job资源信息向RM申请资源创建Container，启动任务，任务都完成后，向RM注销自己

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7og2nwHM-1627015758643)(Hadoop.assets/image-20210710112737874.png)]

3.2 YARN调度器

3.2.1 FIFO

先进先出

3.2.2 容量调度

预留一个通道给小任务执行

3.2.3 公平调度

2.1 FIFO

先进先出

3.2.2 容量调度

预留一个通道给小任务执行

3.2.3 公平调度

动态调配资源