2013年10月_xtqve

12月 11月 10月 08月 07月 06月 05月

原创 hadoop 相关功能源码介绍

1、hadoop实现二度人脉与好友推荐 https://github.com/intergret/snippet/blob/master/deg2friend.java

2013-10-30 15:54:55 635

原创 hadoop N问

1、对文件进行分片，文件是以每一行为一条记录的（RecordReader），而 FileInputFormat是按照数据量的大小(splitSize)对文件进行切分。而而InputSplit的第一条记录（第一行）和最后一条记录（最后一行）可能会被从中间切开。为了解决这种记录跨越 inputSplit的问题，RecordReader规定每个Inputsplit的第一条不完整记录划给前一个Inpu

2013-10-15 17:34:23 620

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人