Hadoop
迷茫君
这个作者很懒,什么都没留下…
展开
-
Writable和WritableComparable区别
Hadoop的key和value的传递序列化需要涉及两个重要的接口Writable和WritableComparable: 1、Writableimport java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;public...原创 2018-08-06 20:04:14 · 1866 阅读 · 1 评论 -
MapReduce Join(一)--原理
MapReduce Join 对两份数据data1和data2进行关键词连接是一个很通用的问题。 如果数据量比较小,完全可以在内存中完成连接;如果数据量比较大,在内存进行连接操会发生内存溢出(OOM)。那么此时就可以用 MapReduce Join 来解决大数据的连接问题。1. Reduce Join map 端的主要工作:为来自不同表(文件)的key/value 打标记以区...原创 2018-08-07 20:52:31 · 2067 阅读 · 0 评论 -
MapReduce Join(二)--Reduce Join编程实现
案例要求订单数据orders 订单号 商品编号 数量 100001 03 3 100002 02 1 100001 04 4 100003 01 1 100004 01 2商品数据produce 商品编号 商品名称 01 小米 02 华为...原创 2018-08-07 22:57:52 · 263 阅读 · 0 评论