hadoop
犀利-sharp
这个作者很懒,什么都没留下…
展开
-
awk and hadoop之mapper
1. 在awk 中mapper的时候我们经常会合并不同的文件,取我们想要的不同的字段。 awk -F "\t" ' { filename = ENVIRON["mapreduce_map_input_file"]; if (index(filename, "xxxx") > 0) { // xxx } else { //xxxx }原创 2016-07-05 11:26:04 · 1017 阅读 · 0 评论 -
awk and hadoop 之reducer
配合上面一篇 mapper篇,这篇主要讲在reducer的时候怎么处理两个文件中的内容,在mapper中我们给每个文件中的内容打了 tag ,在第二个字段,然后就能处理了,只要key一样,就可以弄到一个文件中去。 awk -F '\t' '{ id = $1; tag = $2; if (0 == tag){ idPre = $1; }else (1 == ta原创 2016-07-05 11:26:57 · 326 阅读 · 0 评论