关与 sed && awk 的一些操作小记

Sed && Awk

Sed:

& 添加空格
[root@localhost ~]# echo 123456789
123456789
[root@localhost ~]# echo 123456789 | sed 's/./ &/g'
 1 2 3 4 5 6 7 8 9
[root@localhost ~]# echo 123456789 | sed 's/./ &/2g'
1 2 3 4 5 6 7 8 9
## 我们看到 /g 全局替换的时候 , 1 的前面也有了空格 , 这显然不是我们想要的 , 所以从第二个字段开始替换 /2g

Awk:

& awk 列求和（统计目标目录中所有 .gz 包的总大小）
[root@gameserver src]# ll -k *.gz            ## 可以看到所有 .gz 包大小以 k 为单位列出
-rw-r--r--. 1 root root 6725 5月   7 2013 apache-tomcat-6.0.37.tar.gz
-rw-r--r--. 1 root root  960 5月   2 2013 apr-1.4.6.tar.gz
-rw-r--r--. 1 root root  848 5月   2 2013 apr-util-1.5.2.tar.gz
-rw-r--r--. 1 root root 5994 5月   2 2013 httpd-2.4.3.tar.gz
-rw-r--r--. 1 root root  729 3月  29 2013 nginx-1.3.12.tar.gz
-rw-r--r--. 1 root root 1597 5月   2 2013 pcre-8.30.tar.gz
-rw-r--r--. 1 root root  417 4月  16 09:51 ZendGuardLoader-70429-PHP-5.4-linux-glibc23-x86_64.tar.gz
-rw-r--r--. 1 root root  548 9月   9 15:14 zlib-1.2.7.tar.gz
[root@gameserver src]# ll -k *.gz | awk 'BEGIN{total=0}{total+=$5}END{print total}'
17818
## 执行命令前定义 total 为 0 ,操作第一行时 total = 0 + $5( $5 为 6725),第二行时 total = 6725 + $5( $5 为 960),一直到加完,最后 print total(总大小,以 k 为单位)

操作文本：

[root@localhost tmp]# sed '1,$p' example
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
ftp1:x:500:500::/home/ftp1:/bin/bash
apache:x:48:48:Apache:/var/www:/sbin/nologin

1、打印以 root 开头的行
[root@localhost tmp]# sed -n '/^root/p' example
root:x:0:0:root:/root:/bin/bash

2、打印文件最后一行
[root@localhost tmp]# sed -n '$p' example
apache:x:48:48:Apache:/var/www:/sbin/nologin

3、给以 root 开头的行首添加字符串 abc 并显示该行
[root@localhost tmp]# sed -n 's/^root/abc&/p' example
abcroot:x:0:0:root:/root:/bin/bash

4、为文件所有行首添加字符串 abc
[root@localhost tmp]# sed 's/^/abc&/' example
abcroot:x:0:0:root:/root:/bin/bash
abcbin:x:1:1:bin:/bin:/sbin/nologin
abcadm:x:3:4:adm:/var/adm:/sbin/nologin
abclp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
abcsync:x:5:0:sync:/sbin:/bin/sync
abcftp1:x:500:500::/home/ftp1:/bin/bash
abcapache:x:48:48:Apache:/var/www:/sbin/nologin

5、给文件所有行后追加字符串 abc
[root@localhost tmp]# sed 's/$/&abc/' example
root:x:0:0:root:/root:/bin/bashabc
bin:x:1:1:bin:/bin:/sbin/nologinabc
adm:x:3:4:adm:/var/adm:/sbin/nologinabc
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologinabc
sync:x:5:0:sync:/sbin:/bin/syncabc
ftp1:x:500:500::/home/ftp1:/bin/bashabc
apache:x:48:48:Apache:/var/www:/sbin/nologinabc

6、给文件最后一行后添加一行字符串 welcome to my sed .
[root@localhost tmp]# sed '$a\welcome to my sed .' example
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
ftp1:x:500:500::/home/ftp1:/bin/bash
apache:x:48:48:Apache:/var/www:/sbin/nologin
welcome to my sed .

7、将文件中的小写母全部替换为大写
[root@localhost tmp]# sed 's/[a-z]/\U&/g' example
ROOT:X:0:0:ROOT:/ROOT:/BIN/BASH
BIN:X:1:1:BIN:/BIN:/SBIN/NOLOGIN
ADM:X:3:4:ADM:/VAR/ADM:/SBIN/NOLOGIN
LP:X:4:7:LP:/VAR/SPOOL/LPD:/SBIN/NOLOGIN
SYNC:X:5:0:SYNC:/SBIN:/BIN/SYNC
FTP1:X:500:500::/HOME/FTP1:/BIN/BASH
APACHE:X:48:48:APACHE:/VAR/WWW:/SBIN/NOLOGIN

8、只将文件每行首字母小写替换为大写
[root@localhost tmp]# sed 's/[a-z]/\U&/' example
Root:x:0:0:root:/root:/bin/bash
Bin:x:1:1:bin:/bin:/sbin/nologin
Adm:x:3:4:adm:/var/adm:/sbin/nologin
Lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
Sync:x:5:0:sync:/sbin:/bin/sync
Ftp1:x:500:500::/home/ftp1:/bin/bash
Apache:x:48:48:Apache:/var/www:/sbin/nologin

9、将一个空格替换为32个逗号或者更多个 （呃，这是在群里看到他们讨论的，这需求......）
[root@localhost tmp]# echo a bc | sed "s/ /`echo $(seq 1 32)`/" | sed 's/[0-9]\+/,/g'
a, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,bc

10、接上面的，在第20个逗号后面加个单引号
[root@localhost tmp]# echo a bc | sed "s/ /`echo $(seq 1 32)`/" | sed 's/[0-9]\+/,/g' | sed "s/,/,'/20"   
a, , , , , , , , , , , , , , , , , , , ,' , , , , , , , , , , , ,bc
 # sed "/s/,/,'/20" 这个 20 代表匹配第 20 个逗号，用双引号是为了区别要替换的单引号

11、将文本中第一个空行替换为 test
aaaaaaaaaaaaaaaaaaa

bbbbbbbbbbbbbbbbbbb

cccccccccccccccccccccc
[root@localhost tmp]# sed -i '1,/^$/s/^$/test/' a.txt
aaaaaaaaaaaaaaaaaaa
test
bbbbbbbbbbbbbbbbbbb

cccccccccccccccccccccc

12、替换文件中IP地址
ifconfig eth0 192.168.0.1
[root@oracleDB tmp]# sed -ri 's/(([0-9]{1,3}\.?){4})/192.168.0.10/' a.txt
[root@oracleDB tmp]# cat a.txt
ifconfig eth0 192.168.0.10

13、给字符串中插入空格
[root@oracleDB tmp]# echo "abcd" | sed 's/./& /g'
a b c d

Awk

1、打印 rpm -qa 列表的所有软件包名，不打印版本号
[root@localhost tmp]# rpm -qa | awk -F - 'NF-=2,OFS="-"'
policycoreutils
setup
iproute
xml-common
util-linux-ng
iso-codes
udev
dmz-cursor-themes
device-mapper
ca-certificates
device-mapper-event
tzdata
libdrm
nss-softokn-freebl
.........

[root@localhost tmp]# rpm -qa | awk -F "-[0-9]" '{print $1}'
policycoreutils
setup
iproute
xml-common
util-linux-ng
iso-codes
udev
dmz-cursor-themes
device-mapper
ca-certificates
device-mapper-event
tzdata
libdrm
nss-softokn-freebl
.........

1、删除匹配行

sed  '/abc/d' filename

2、删除匹配行后指定5行

sed '/abc/,+5d' filename

3、删除匹配行后所有行

sed '/abc/,&d' filename