hadoop
林君-lj
这个作者很懒,什么都没留下…
展开
-
hadoop StringUtils split方法的坑
今天写hadoop job时发现了一个坑。 使用StringUtils类的split方法对字符串做分割,不小心引入了hadoop自身的StringUtils类,job出错,仔细debug检查后才找到问题所在。 jdk版StringUtils类只把空白符作为分割符。 hadoop版StringUtils类把标点符号也作为分隔符。 在写job的时候小心不要引入错了。原创 2013-05-10 14:43:10 · 1112 阅读 · 0 评论 -
hadoop多目录输出1
第一次写博文,希望以后能一直坚持下去。 本文主要分享hadoop中如何实现多文件输出。 实际hadoop job开发中,我们的输出数据可能不止一类,并且需要将不同的数据类以不同的文件名输出保存。例如典型的wordcount实现,如果既要统计单词在所有文档中的出现次数,又要统计单词在所有文档中的出现行数,将这两个次数输出到count.txt文件和line.txt文件中。类似这样的原创 2013-04-27 16:18:23 · 685 阅读 · 0 评论