配合上面一篇 mapper篇,这篇主要讲在reducer的时候怎么处理两个文件中的内容,在mapper中我们给每个文件中的内容打了 tag ,在第二个字段,然后就能处理了,只要key一样,就可以弄到一个文件中去。
awk -F '\t' '{ id = $1; tag = $2; if (0 == tag){ idPre = $1; }else (1 == tag && id == idPre){ print $3"\t"id; } }'
配合上面一篇 mapper篇,这篇主要讲在reducer的时候怎么处理两个文件中的内容,在mapper中我们给每个文件中的内容打了 tag ,在第二个字段,然后就能处理了,只要key一样,就可以弄到一个文件中去。
awk -F '\t' '{ id = $1; tag = $2; if (0 == tag){ idPre = $1; }else (1 == tag && id == idPre){ print $3"\t"id; } }'