Hadoop Writable interface

最新推荐文章于 2024-09-16 11:16:36 发布

weixin_34409357

最新推荐文章于 2024-09-16 11:16:36 发布

阅读量87

点赞数

文章标签：大数据 python

原文链接：https://my.oschina.net/u/138995/blog/177923

版权

2019独角兽企业重金招聘Python工程师标准>>>

Hadoop 利用继承 Writable 接口的类来进行 MapReduce 的运算 , 从输入到输出要用到，所以对于 MapReduce 的性能是有影响的。实现该接口的类应该覆盖 read 和 write ，分别用来进行反序列化和序列化操作。

下面是Hadoop API javadoc给出的例子

public class MyWritable implements Writable {
       // Some data     
       private int counter;
       private long timestamp;
       
       public void write(DataOutput out) throws IOException {
         out.writeInt(counter);
         out.writeLong(timestamp);
       }
       
       public void readFields(DataInput in) throws IOException {
         counter = in.readInt();
         timestamp = in.readLong();
       }
       
       public static MyWritable read(DataInput in) throws IOException {
         MyWritable w = new MyWritable();
         w.readFields(in);
         return w;
       }
     }

转载于:https://my.oschina.net/u/138995/blog/177923