Hadoop学习——MapRedece 总结

1。输入数据接口：inputFormat

• 默认使用的实现类是：TextInputFormat
• TextInputFormat 的功能逻辑是：一次度一行文本，然后将该行的其实偏移量作为key，行内容作为value 返回
• KeyValueTextInputFormat 每一行均为一条记录，被分割符分割为key，value。默认分割符号tab（\t）
• NLineInputFormat 按照指定的行数N来划分切片
• CombineTextInputFormat 可以把多个小文件合并成一个切片处理，提高处理效率
• 用户可以自定义InputFormat

逻辑处理接口：Mapper

用户根据业务需求实现其中三个方法:

• map()
• setup() 初始化方法
• cleanup() 清除方法

Partitioner 分区

• 有默认实现HashPartitioner，逻辑是根据key的哈希值和numReduces 来返回一个分区号；
• 如果业务上有特别的需求，可以自定义分区

Comparable 排序

• 当我们用自定的对象作为key来输出是，就必须实现WritableComparable 接口，重写其中的CompareTo() 方法
• 部分排序：对最终输出的每一个文件进行内部排序
• 全排序：对所有数据进行排序，通常只有一个Reduce
• 二次排序：排序的条件有两个

Combine 合并

Combine合并可以提高程序执行效率，减少IO传输，但是使用时必须不能影响原有的业务处理结果

Reduce端分组：Groupingmparator

在reduce端对key进行分组。应用于：在接收的key为bean对象是，想让一个或几个字段相同（全部字段比较不相同）的key进入到同一个reduce方法时，可以采用分组排序

逻辑处理接口 Reducer

用户根据业务需求实现其中三个方法 :

• reduce()
• setup() 初始化方法
• cleanup() 清除方法

输出数据接口OutputFormat

• 默认实现类是TextOutputFormat，功能逻辑是：将每一个kv对，向目标文本文件输出一行
• 将SequenceFileOutputFormat 输出作为后续mapreduce任务的输入，这便是一种好的输出格式，因为它的格式紧凑，很容易被压缩
• 用户还可以自定义OutputFormat

Hadoop学习——MapReduce——Wordcount
Hadoop学习——Hadoop序列化
Hadoop学习——CombineTextInputFormat切片机制
Hadoop学习—— KeyValueTextInputFormat 实现类
Hadoop学习—— NLineInputFormat 实现类
Hadoop学习——TextInputormat实现类
Hadoop学习——Partition分区
Hadoop学习——Combiner合并
Hadoop学习—— GroupingComparator分组
Hadoop学习——MapTask工作机制、ReduceTask工作机制、Shuffle机制
Hadoop学习——Join
Hadoop学习—— OutputFormat数据输出