Hadoop
文章平均质量分 82
DarKeViLzAc
这个作者很懒,什么都没留下…
展开
-
Hadoop中VIntWritable编码方式解析
最近因为实验室的云计算项目,开始学习Hadoop,有时间就记录一下自己在学习过程中的一些小收获吧。 《Hadoop权威指南》在序列化这一节有个例子程序,叫做TextPair,代码略长,就不贴上来了,它implements了WritableComparable<TextPair>,将两个Text对象打包到一起。TextPair以静态内部类的形式实现了WritableCompar...原创 2012-03-22 20:36:45 · 312 阅读 · 0 评论 -
Hadoop中FileInputFormat计算InputSplit的getSplits方法的流程
其实流程算起来也不算复杂,所以就直接用代码注释来做吧 这里边涉及这么几个方法: 1、public List<InputSplit> getSplits(JobContext job), 这个由客户端调用来获得当前Job的所有分片(split),然后发送给JobTracker(新API中应该是ResourceManager),而JobTracker根据这些分片的存储位置来...原创 2012-03-24 22:06:28 · 468 阅读 · 0 评论