大数据秋招面经之hadoop系列

前言
hadoop在大数据面试中的比重已经呈下降趋势了，因为有spark的存在，hadoop存在感越来越低，但因为有分布式文件系统HDFS的存在，hadoop也不会被时代所抛弃。

面试过程中涉及hadoop的知识点主要集中与shuffle过程，切片机制，性能调优，以及datanode挂了怎么办，HA高可用等这些真实场景问题，可见除了一些基本的知识基础之外，性能调优和真实场景的相关问题是面试问的比较多的。

秋招高频题
1.hadoop的各个组件

2.hadoop作业提交到yarn的流程：
（1）client将切片清单/配置/jar包上传到HDFS。
（2）RM收到请求后，选一个满足要求的NM，通知它启动一个特殊的Container，称为ApplicationMaster(AM)，后续流程由AM发起。
（3）AM启动后，从HDFS下载切片清单，AM向RM申请资源(Container)。
（4）若有足够资源，RM会将Container分给NM,Container反向注册给AM。
（5）AM将任务分发给Container。
（6）Container执行具体任务，NM监控任务执行情况。
（7）各个Container向AM汇报自己的执行情况，都完成后，AM向RM注销任务，RM向NM杀死Container,任务结束.

3.hive与spark区别

4.Hadoo