文本处理工具--sed+awk

sed行编辑器

sed：（stream editor ）用来操作纯 ASCII 码的文本，一次处理一行内容，处理时，把当前的行存储在临时缓冲区，称之为“模式空间”，处理完后把缓冲区的内容输送到屏幕，接着处理下一行,这样不断重复,直到文件末尾。

sed命令格式
sed [参数] ‘命令’ file

sed [参数] '命令' file
p    ##显示
d    ##删除
a    ##添加
c    ##替换
i    ##插入

• p：

[root@server mnt]# cat /etc/fstab

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
/dev/sr0 /rhel7.0  iso9660 defaults 0 0

[root@server mnt]#sed -n '/\:/p' /etc/fstab         ##显示含有“：” 的行

# Created by anaconda on Wed May  7 01:22:57 2014
[root@server mnt]#sed -n '/^#/p' /etc/fstab       ##显示以“#”开头的行

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#

[root@server mnt]#sed -n '/^#/!p' /etc/fstab      ##显示不以“#”开头的行

UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
/dev/sr0 /rhel7.0  iso9660 defaults 0 0

[root@server mnt]#sed -n '2,6p' /etc/fstab       ##显示2～6 行

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
[root@server mnt]#sed -n '2,6!p' /etc/fstab      ##显示除2～6 行之外的其他行

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
[root@server mnt]# sed -n '2,6!p' /etc/fstab

# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
/dev/sr0 /rhel7.0  iso9660 defaults 0 0

• d：
   

[root@server mnt]# sed '/^UUID/d' /etc/fstab                ##删除以UUID开头的行

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/sr0 /rhel7.0  iso9660 defaults 0 0

[root@server mnt]# sed '/^#/d' /etc/fstab                       ##删除以“#'"开头的行

UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
/dev/sr0 /rhel7.0  iso9660 defaults 0 0
[root@server mnt]# sed '/^$/d' /etc/fstab                       ##删除空行

#
# /etc/fstab
# Created by anaconda on Wed May  7 01:22:57 2014
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
/dev/sr0 /rhel7.0  iso9660 defaults 0 0
[root@server mnt]# sed '1,4d' /etc/fstab                        ##删除1～4行

#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=9bf6b9f7-92ad-441b-848e-0257cbb883d1 /                       xfs     defaults        1 1
/dev/sr0 /rhel7.0  iso9660 defaults 0 0

• a：

sed '/hello/aworld' westos
sed 's/hello/hello world/g' westos
sed 's/hello/hello\nworld/g' westos

• c：替换

sed '/hello/chello world' westos

• i：

[root@server mnt]# sed '/hello/iworld\nwestos' westos
world
westos
hello

 -i：改变原文件内容
sed -i 's/westos/redhat/' passwd

sed -i 's/westos/redhat/g' passwd    ##全局替换

---

awk报告生成器

awk处理机制：根据模式一次从文件中抽取一行文本，对这行文本进行切片（默认使用空白字符作为分隔符）

1.Awk 是被设计用于文本处理，并通常被用作数据提取和报告工具的解释性程序设计语言

2.目前在Linux中常用的是 awk 编译版本有 mawk 、gawk

3.以 RedHat 为代表使用的是 gawk，以Ubuntu为代表使用的是 mawk

[root@server mnt]# cat test
this  | is | a | file
 $1     $2  $3    $4

[root@server mnt]#awk '{print $0}' test    ##$0表示输出一整行

[root@server mnt]#awk '{print $1}' test

[root@server mnt]#awk '{print $4}' test

[root@server mnt]#awk '{print $1,$2}' test    ##显示两个字段

[root@server mnt]#awk -F ":" '{print $1,$3}' /etc/passwd    ##指定分隔符

• awk常用变量

[root@server mnt]#awk '{print FILENAME,NR}' /etc/passwd    ##输出文件名，和当前操作的行号

[root@server mnt]#awk -F: '{print NR,NF}' /etc/passwd    ##输出每次处理的行号，以及当前以":"为分隔符的字段个数

总结：awk '{print "第NR行"，"有NF列"}' /etc/passwd

BEGIN{}:读入第一行文本之前执行的语句，一般用来初始化操作
{}:逐行处理
END{}:处理完最后以行文本后执行，一般用来处理输出结果

awk 'BEGIN { a=34;print a+10 }'

awk -F: 'BEGIN{print "REDHAT"} {print NR;print } END {print "WESTOS"}' westos         ##文件开头加REDHAT，末尾加WESTOS，打印行号和内容

awk -F: '/bash$/{print}' /etc/passwd    ##输出以bash结尾的

awk -F: 'NR==3 {print}' /etc/passwd

awk -F: 'NR % 2 == 0 {print}' /etc/passwd    ##偶数行

awk -F: 'NR >=3 && NR <=5 {print }' /etc/passwd

awk 'BEGIN{i=0}{i+=NR}END{print i}' linux.txt    ##统计文本总行数

awk的高级应用

• if单分支语句

awk -F: 'BEGIN{i=0}{if($7~/bash$/){i++}}END{print i}' /etc/passwd    ##统计登录shell为bash的用户

 awk -F: 'BEGIN{i=0}{if($3<500){i++}}END{print i}' /etc/passwd        ##统计/etc/passwd下uid小于500的用户个数

• if双分支

awk -F: 'BEGIN{i=0;j=0}{if($3<=500){i++}else{j++}}END{print i,j}' /etc/passwd    ##统计uid小于等于500和大于500的用户个数

• for循环

awk 'BEGIN{for(i=1;i<=5;i++){print i}}'            ## 生成随机数

• while循环

[root@server mnt]# awk 'i=0{}BEGIN{while(i<3){++i;print i}}' test
1
2
3
[root@server mnt]# awk 'BEGIN{do{++i;print i}while(i<3)}' test
1
2
3