![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 76
Esther_lee
这个作者很懒,什么都没留下…
展开
-
Hadoop 自定义InputFormat实现自定义Split
上一篇文章中提到了如何进行RecordReader的重写,本篇文章就是来实现如何实现自定义split的大小 要解决的需求: (1)一个文本中每一行都记录了一个文件的路径, (2)要求处理路径对应的文件,但是因为文件量比较大,所以想进行分布式处理 (3)所以就对输入的文档进行预处理,读取前N行做为一个splits,但是没有实现,因为重写FileSplit不是太容易实现,就偷懒转载 2014-05-22 11:55:47 · 1652 阅读 · 0 评论 -
Hadoop URL数据读取操作
hadoop可以从命令行shan原创 2014-07-14 17:17:23 · 1074 阅读 · 0 评论 -
hadoop1.2.1基本操作整理
现阶段暂时不用hadoop了,为了怕自己忘记,对一些基本操作进行整理。 1.启动yutuich原创 2014-07-10 10:07:34 · 569 阅读 · 0 评论