hadoop
文章平均质量分 72
pengchengcrazy
这个作者很懒,什么都没留下…
展开
-
hadoop mapreduce问题排查和解决
前几天,由于项目最近在对算法引起原创 2014-06-18 09:57:06 · 1272 阅读 · 0 评论 -
Hadoop中分片为什么需要metasplitInfo文件
说明:把之前的东西总结梳理了一下,发上来,比较粗略,不过意思还是比较明白。在hadoop中,很重要的一个特点就是分片,将输入划分成很多个split,而通过分析我们知道划分分片的时候会最终生成两个split文件,一个是splitinfo文件,一个是splitmetainfo文件,splitinfo对象里面主要包括了path, offset, length, hosts是个属性,原创 2014-12-18 11:15:13 · 1041 阅读 · 0 评论