awk
犀利-sharp
这个作者很懒,什么都没留下…
展开
-
awk 备用
原文地址: http://xu020408.blog.163.com/blog/static/26548920097259241686/ 1. awk简介awk是一种编程语言,用于在linux/unix下对文本和linux/unix下的一个强大编程工具。它在命令行中使用,但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的,它逐行扫描文件,从第一行到最后一行,寻找匹配的特定模原创 2016-07-05 11:21:16 · 269 阅读 · 0 评论 -
awk 中 对于tail f 的文件重定向
先看一下如下两个命令:tail -f in | awk '{print $0}' 如果我们不断的往 in 中输入,结果是可以输出来的。 第二条命令 awk ‘{print $0}’ in >> out是可以把 in中的内容 打印到 out中的 第三条命令 把如下两个命令结合起来,就不好使了 tail -f in | awk '{print原创 2016-07-05 11:21:24 · 3293 阅读 · 0 评论 -
linux 重命名 rename
废话不说 直接上脚本 ,本人亲测好使。 #!/bin/bash #script_name:rename_ALLfind .原创 2016-07-05 11:25:15 · 3031 阅读 · 0 评论 -
awk and hadoop之mapper
1. 在awk 中mapper的时候我们经常会合并不同的文件,取我们想要的不同的字段。 awk -F "\t" '{ filename = ENVIRON["mapreduce_map_input_file"]; if (index(filename, "xxxx") > 0) { // xxx } else { //xxxx }原创 2016-07-05 11:26:04 · 1017 阅读 · 0 评论 -
awk 常用函数
Copy From: http://blog.csdn.net/xgdofull/article/details/5429858awk提供了许多强大的字符串函数,见下表:awk内置字符串函数gsub(r,s) 在整个$0中用s替代rgsub(r,s,t) 在整个t中用s替代rindex(s,t) 返回s中字符串t的第一位置length(s) 返回s长度match(s,r原创 2016-07-05 11:26:16 · 650 阅读 · 0 评论 -
awk join操作
有没有遇到场景,要把两个集合做一个join操作,用awk我们可以很方便的实现这个效果,设计到awk如何从两个文件中读取内容.直接上代码:awk -F ',' 'BEGIN{原创 2016-07-05 11:26:46 · 365 阅读 · 0 评论 -
awk and hadoop 之reducer
配合上面一篇 mapper篇,这篇主要讲在reducer的时候怎么处理两个文件中的内容,在mapper中我们给每个文件中的内容打了 tag ,在第二个字段,然后就能处理了,只要key一样,就可以弄到一个文件中去。awk -F '\t' '{ id = $1; tag = $2; if (0 == tag){ idPre = $1; }else (1 == ta原创 2016-07-05 11:26:57 · 326 阅读 · 0 评论