MapReduce自定义数据类型

最新推荐文章于 2020-10-11 16:52:48 发布

everl_1

最新推荐文章于 2020-10-11 16:52:48 发布

阅读量3.4k

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/everl_1/article/details/52434090

版权

本文探讨了如何在MapReduce中使用自定义数据类型，特别是以FlowBean为例，展示了如何实现WritableComparable接口以适应Hadoop框架。内容包括分析自带的LongWritable数据类型，并说明自定义数据类型应包含的方法，适用于处理复杂的数据统计场景，如手机流量统计。

摘要由CSDN通过智能技术生成

实现WritableComparable接口的类大多数（在io包中的都可以）可以作为MapReduce中Mapper或Reducer的key-value数据类型。在hadoop框架中自带实现WritableComparable接口的类（FlowBean是自定义的）有：

可以看出，自带的类实现了对整形，浮点型，布尔型及String（Text类）的封装，都是比较简单的数据类型，在实际应用中通常需要自定义数据类型。在写自定义数据类之前首先分析一下自带的LongWritable数据类型，如下：

public class LongWritable implements WritableComparable<LongWritable> {
  private long value;

  public LongWritable() {}

  public LongWritable(long value) { set(value); }

  /** Set the value of this LongWritable. */
  public void set(long value) { this.value = value; }

  /** Return the value of this LongWritable. */
  public long get() { retu