一、打印某行到某行之间的内容:
问题:文件test的内容如上图,截取[abcfd]到[rty]之间的所有行。
sed -rn '/(abcfd)/,/(rty)/'p test.txt
awk 'NR>3 && NR<10 {print}' file.txt
awk '/keyword1/,/keyword2/{print}' file.txt
二、sed 如何转换大小写字母
把每个单词的第一个小写字母变大写:
sed 's/\b[a-z]/\u&/g' filename
把所有小写变大写:
sed 's/[a-z]/\u&/g' filename
awk '{print toupper($0)}' filename
大写变小写:
sed 's/[A-Z]/\l&/g' filename
三、sed在文件中某一行最后添加一个数字
在a开头的行的末尾添加数字12
sed -r 's/(^a.*)/\1 12/' test 或者 sed -r 's/(^a.*)/& 12/' test
四、sed删除某关键字的下一行到最后一行
[root@test200 ~]# cat test
a
b
c
d
e
f
[root@test200 ~]# sed '/c/{p;:a;N;$!ba;d}' test #删除c后的所有行
a
b
c
定义一个标签a,匹配c,然后N把下一行加到模式空间里,匹配最后一行时,才退出标签循环,然后命令d,把这个模式空间里的内容全部清除。
五、使用sed打印1到100行包含某个字符串的行
这个需求,其实就是sed指定行范围匹配,较少见。实现:sed -n '1,100{/abc/p}' 1.txt
六、awk 中使用外部shell变量
如: A=44echo "ABCD" | awk -v GET_A=$A ’{print GET_A}’
说明:-v选项用于定义参数,这里表示将变量A的值赋予GET_A。
有多少个变量需要赋值,就需要多少个-v选项。与之等价的:应用于脚本中:
sort -n filename |awk -F ':' '{print $1}'|uniq >id.txt
awk -v id2=$id -F ':' '$1==id2 {print $2}' filename // 另外的方式为: awk -F ':' '$1=="'id'" {print $2}' filename
输出如下:附件:
cat filename
1111111:13443253456
2222222:13211222122
1111111:13643543544
3333333:12341243123
2222222:12123123123
[1111111]
13443253456
13643543544
[2222222]
13211222122
12123123123
[3333333]
12341243123
七、awk 合并一个文件
- 实现的命令为: awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}' 1.txt 2.txt
- 解释:NR表示读取的行数(两个文件的总行数), FNR表示读取的当前行数(读取2.txt时清零),大家可以运行这个命令 awk '{print NR,FNR}' 1.txt 2.txt,比较NR和FNR
- 所以其实NR==FNR 就表示读取1.txt的时候。 同理NR>FNR表示读取2.txt的时候
- 数组a其实就相当于一个map
八、把一个文件多行连接成一行
另外的方法是 : cat a|xargs|sed 's/ /+/g'
九、awk中gsub函数的使用
- passwd文件中把所有www替换为abc:awk 'gsub(/www/,"abc")' /etc/passwd
- 替换$1中的www为abc: awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd
awk -F ':' -v a=$i '{printf $a " "}' /etc/passwd
十、grep 或 egrep 或awk 过滤两个或多个关键词
- 找出文件(filename)中包含123或者包含abc的行:grep -E '123|abc' filename
- 用egrep同样可以实现:egrep '123|abc' filename
- awk 的实现方式:awk '/123|abc/' filename
1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,2005100110101
2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,2005100110101
- 答:awk 'BEGIN{for(i=1;i<=10;i++)printf("%d,%d,%010d,%010d,%010d,%010d,%010d,%010d,%d\n",i,i,i,i,i,i,i,i,strftime("%Y%m%d%H%M%S"))}'
- 如果要写多几行,就把这里的10改成需要的数字即可,例如:20 {for(i=1;i<=20;i++)
十二、awk用print打印单引号
不用脱义,就多写几个单引号、双引号: awk 'BEGIN{print "a'"'"'s"}'
用脱义,脱义的是单引号: awk 'BEGIN{print "a'\''s"}'
用脱义,脱义的是双引号:awk 'BEGIN{print "a\"s"}'
十三、paste合并输出两个文件的内容
命令格式 paste filename1 filename2
十四、awk的BEGIN和END
十五、awk的参考教程
1、awk的流程控制BEGIN和END
http://blog.51cto.com/151wqooo/1309851
2、awk详解
http://blog.51cto.com/7177526/1387238