Hadoop2.4.1 简单的用户手机流量统计的MapReduce程序总结

Hadoop2.4.1 简单的用户手机流量统计的MapReduce程序(一)

Hadoop2.4.1 简单的用户手机流量统计的MapReduce程序(二) 

Hadoop2.4.1 简单的用户手机流量统计的MapReduce程序(三)

我将会对以上三个程序做出以下的总结：

一、hadoop的序列化机制
1. 跟jdk自带的比较起来，更加精简，只传递对象中的数据，而不传递如继承结构等额外信息。

2. 要想让自定义的数据类型在hadoop集群中传递，需要实现hadoop的序列化接口Writable或者 WritableComparable<T>.

3. 自定义的数据类型bean实现了Writable接口后，要实现其中的两个方法public void write(DataOutput out) throws IOException.  

4. 序列化，将数据写入字节流以及public void readFields(DataInput in) throws IOException.

5. 反序列化，从字节流中读出数据. 注意：写入数据和读出数据的顺序和类型要保持一致.

二、自定义排序
1. hadoop的排序是在shuffle中完成的，排序的依据是map输出的key。

2. 要想实现自定义的排序，就要将需要排序的数据封装到key中传输，并且要将数据实现WritableComparable接口。

四、自定义分区 partition
1. 每一个reduce task输出一个结果文件。

2. 自定义一个类AreaPartitioner 继承 Partitioner 抽象类，实现其中的方法 int getPartition(K,V)。

3. 在job的描述中设置使用自定义的partitioner ， job.setPartitionerClass(AreaPartitioner.class)。

4. 在job的描述中指定作业的reduce task并发数量，job.setNumReduceTasks(5)，数量要与partitioner中的分区数一致

5. 如果reduce task的数量比partition中分组数多，就会产生多余的几个空文件.

6. 如果reduce task的数量比partition中分组数少，就会发生异常，因为有一些key没有对应ruduce task接收。

7. 如果reduce task的数量为1，也能正常运行，所有的key都会分给这一个ruduce task.