本文详细总结了Hadoop MapReduce的相关面试重点，包括Hadoop序列化与反序列化、FileInputFormat切片机制、InputSplit概念、MapReduce的map和reduce数量判定、MapTask与ReduceTask的工作机制、shuffle阶段、combiner的作用、分区策略、负载平衡以及TopN实现等核心知识点。通过对这些内容的深入理解，有助于提升MapReduce开发和优化能力。
1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?
1）序列化和反序列化
（1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。
（2）反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。
（3）Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系等），不便于在网络中高效传输。所以，hadoop自己开发了一套序列化机制（Writable），精简、高效。
2）自定义bean对象要想序列化传输步骤及注意事项：
（1）必须实现Writable接口
（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造
（3）重写序列化方法
（4）重写反序列化方法
（5）注意反序列化的顺序和序列化的顺序完全一致
订阅专栏 解锁全文
扫一扫
3968
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
