超级会员免费看
本文详述了Hadoop面试中的重点问题，包括Hadoop的相关配置、端口号、集群搭建、HDFS读写流程、小文件处理策略、NameNode内存配置、SecondaryNameNode工作机制、NameNode与SecondaryNameNode的区别、数据节点的服役与退役步骤、NameNode故障恢复、Hadoop HA和YARN HA的实现，以及MapReduce的Shuffle过程优化、Combiner、分区和排序策略等。此外，还讨论了Hadoop集群的资源调度器、数据压缩算法、数据倾斜解决方法以及Hadoop1与Hadoop2的架构异同。
1、Hadoop相关问题汇总
- Hadoop默认不支持LZO压缩，如果需要支持LZO压缩，需要添加jar包，并在hadoop的cores-site.xml文件中添加相关压缩配置；
- Hadoop常用端口号；
- Hadoop配置文件以及简单的Hadoop集群搭建；
- HDFS读流程和写流程；
- MapReduce的Shuffle过程及Hadoop优化（包括：压缩、小文件、集群优化）；
- Yarn的Job提交流程；
- Yarn的默认调度器、调度器分类、以及他们之间的区别；
- HDFS存储多目录；
- Hadoop参数调优；
- 项目经验之基准测试；
2、Hadoop常用端口号
| hadoop2.x |
Hadoop3.x |
|
| 访问HDFS端口 |
50070 |
9870 |
| 访问MR执行情况端口 |
8088 |
8088 |
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
