Hadoop高频面试题

1、Hadoop相关问题汇总

1. Hadoop默认不支持LZO压缩，如果需要支持LZO压缩，需要添加jar包，并在hadoop的cores-site.xml文件中添加相关压缩配置；
2. Hadoop常用端口号；
3. Hadoop配置文件以及简单的Hadoop集群搭建；
4. HDFS读流程和写流程；
5. MapReduce的Shuffle过程及Hadoop优化（包括：压缩、小文件、集群优化）；
6. Yarn的Job提交流程；
7. Yarn的默认调度器、调度器分类、以及他们之间的区别；
8. HDFS存储多目录；
9. Hadoop参数调优；
10. 项目经验之基准测试；

2、Hadoop常用端口号

	hadoop2.x	Hadoop3.x
访问HDFS端口	50070	9870
访问MR执行情况端口	8088	8088
历史服务器	19888	19888
客户端访问集群端口	9000	8020