文本处理工具sed和awk

sed 和 awk 是linux上两个文本处理工具，两者的功能比较相似，相比sed， awk的功能更为强大一些，但使用上也更加复杂。

sed

sed是一种流编辑器，它可以分析标准输入流的的数据， 然后将数据经过处理后，再输出到标准输出，能够完美的配合正则表达式使用。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

显示文本内容，删除指定行

1 2 3 4

#将 /etc/passwd 的内容列出并打印行号，同时删除2~39行 [root@linux ~]# sed -n '2,39d' /etc/passwd 1 root:x:0:0:root:/root:/bin/bash 40 stad:x:120:65534::/var/lib/nfs:/bin/false

在指定位置插入行

1 2 3 4 5

#在第二行后(亦即是加在第三行)加上'add here' [root@linux ~]# sed -n '2a add here' /etc/passwd #把2a换成2i，则为加到第二行前 1 root:x:0:0:root:/root:/bin/bash 2 daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin add here

替换指定行

1 2 3 4

#取代第2-7行的内容为指定字符串 [root@linux ~]# sed -n '2,7c something changes' /etc/passwd 1 root:x:0:0:root:/root:/bin/bash something changes

显示指定行

1 2 3 4

#仅列出第 5-6 行内容 [root@linux ~]# sed -n '5,6p' /etc/passwd 5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 6 sync:x:5:0:sync:/sbin:/bin/sync

显示含有指定关键词的行

1 2 3 4 5 6 7 8

#仅显示包含“game”的行 [root@linux ~]# sed -n '/game/p' file #只打印那些发生替换的行,加后缀'p' [root@linux ~]# sed -n 's/book/game/p' file 1 game book book 5 dfan hehe game 8 and i and we game

替换文本内容,可通过使用正则表达式提高替换的效率

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

[root@linux ~]# sed 's/Li/Wang/' file # 只替换每一行中的第一个“foo”字串 [root@linux ~]# sed 's/Li/Wang/4' file # 只替换每一行中的第四个“foo”字串 [root@linux ~]# sed 's/Li/Wang/g' file # 将每一行中的所有“foo”都换成“bar” [root@linux ~]# sed 's/Li/Wang/gp' file # 以上都会显示所有的行,'p'后缀除了所有内容还会打印出发生替换的行 Wang is a very funny guy. Wang is a very funny guy. every one love him. And Wang is very clever. every one love him. And Wang is very clever. Do you? [root@linux ~]# sed -n 's/Li/Wang/gp' file # '-n'参数只打印出发生替换的行,并不显示所有内容 Wang is a very funny guy. And Wang is very clever. We all think Wang is cool. ##一些复杂的例子 #删除文件中所有开头是test的行： [root@linux ~]# sed '/^test/d' file #正则表达式 \w\+ 匹配每一个单词，使用 [&] 替换它，& 对应于之前所匹配到的单词 [root@linux ~]# echo this is a test line | sed 's/\w\+/[&]/g' [this] [is] [a] [test] [line] #love被标记为\1，同理匹配到的第二个结果即为\2.所有loveable会被替换成lovers，并打印出来： [root@linux ~]# sed -n 's/\(love\)able/\1rs/p' file #-e选项允许在同一行里执行多条命令. #下面sed表达式的第一条命令删除1至5行，第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果 [root@linux ~]# sed -e '1,5d' -e 's/test/check/' file

awk

awk是一个强大的文本分析工具,可以把文本逐行读入,以空格为默认的分隔符将每行切片,切开的部分再进行各种分析处理.相较于 sed 常常作用于一整个行的处理，awk 则比较倾向于一行当中分成数个字段来处理。

基本用法，\$n 为awk里的内置变量，\$0 表示所有列,\$1 表示第一列,\$2 表示第二列,依次类推

1 2 3 4 5

#显示最近登录的5个账户名, [root@linux ~]# last -n 5|awk '{print $1}' #显示/etc/passd的账户名和对应的shell,两者以tab分隔,-F 指定分隔域符为":" [root@linux ~]# cat /etc/passwd | awk -F ':' '{print $1"\t"$7}'

函数使用

1 2	#在开始和结尾处添加信息 [root@linux ~]# cat /etc/passwd | awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'

搜索内容

1 2 3 4

#搜索/etc/passwd文件内有root关键字的所有行 [root@linux ~]# awk -F: '/root/' /etc/passwd #搜索/etc/passwd文件内所有root关键字的所有行,并显示对应shell [root@linux ~]# awk -F: '/root/{print $7}' /etc/passwd

其它内置变量

1 2 3 4

#统计/etc/passwd文件名,每行的行号,每行的行数,对应行的完整内容.FILENAME是内置变量名,值为处理文件名,NF为浏览记录的域的个数,NR为浏览的记录数 [root@linux ~]# awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:" $0}' /etc/passwd #可使用printf替代print,从而使代码更为简洁 [root@linux ~]# awk -F ':' '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

自定义变量

1 2 3 4 5 6 7 8 9 10 11 12

#变量和赋值，除了awk的内置变量，awk还可以自定义变量。下面统计/etc/passwd的账户人数，count是自定义的变量 [root@linux ~]# awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd [start]user count is 0 root:x:0:0:root:/root:/bin/bash ... [end]user count is 40 #统计某个文件夹的文件占用的字节数 [root@linux ~]# ls -l | awk 'BEGIN{size=0;} {size=size+$5} END{print "[end]size is ", size}' [end]size is 8657198 #以M为单位显示,不包含子文件夹 [root@linux ~]# ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' [end]size is 8.25889 M

条件语句和循环语句

1 2 3 4 5 6 7 8 9 10 11 12

#条件语句，统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹): [root@linux ~]# ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}' [end]size is 8.22339 M #循环语句，利用数组显示/etc/passwd的账户 [root@linux ~]# awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd 0 root 1 daemon 2 bin 3 sys 4 sync 5 games ......

实例

统计文件内所有的数字之和，文件内容如下：

1 2 3 4 5 6

abbbbbbbc 1 aaaaaaaac 2 adfdfdfdc adfdfdfda 3 4 adfdfdf 5 6

awk命令：

1 2 3 4 5 6 7 8 9

awk '{ for(i=1; i <= NF; i++) { if($i ~ /[[:digit:]]/) { str = str + $i } } } END{print str}' test

参考资料:

• http://www.iteye.com/topic/587673

• http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html