linux下sed 和 awk用法

sed:

常用选项：

• -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
• -e∶直接在指令列模式上进行 sed 的动作编辑；
• -f∶直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作；
• -r∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
• -i∶直接修改读取的档案内容，而不是由萤幕输出。

常用命令：

• a ∶新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
• c ∶取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
• d ∶删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
• i ∶插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
• p ∶列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～
• s ∶取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

删除某行
[root@localhost ruby] # sed '1d' ab              #删除第一行 
[root@localhost ruby] # sed '$d' ab              #删除最后一行
[root@localhost ruby] # sed '1,2d' ab           #删除第一行到第二行
[root@localhost ruby] # sed '2,$d' ab           #删除第二行到最后一行

显示某行
[root@localhost ruby] # sed -n '1p' ab           #显示第一行 
[root@localhost ruby] # sed -n '$p' ab           #显示最后一行
[root@localhost ruby] # sed -n '1,2p' ab        #显示第一行到第二行
[root@localhost ruby] # sed -n '2,$p' ab        #显示第二行到最后一行

使用模式进行查询
[root@localhost ruby] # sed -n '/ruby/p' ab    #查询包括关键字ruby所在所有行
[root@localhost ruby] # sed -n '/\$/p' ab        #查询包括关键字$所在所有行，使用反斜线\屏蔽特殊含义

增加一行或多行字符串
[root@localhost ruby]# cat ab
Hello!
ruby is me,welcome to my blog.
end
[root@localhost ruby] # sed '1a drink tea' ab  #第一行后增加字符串"drink tea"
Hello!
drink tea
ruby is me,welcome to my blog. 
end
[root@localhost ruby] # sed '1,3a drink tea' ab #第一行到第三行后增加字符串"drink tea"
Hello!
drink tea
ruby is me,welcome to my blog.
drink tea
end
drink tea
[root@localhost ruby] # sed '1a drink tea\nor coffee' ab   #第一行后增加多行，使用换行符\n
Hello!
drink tea
or coffee
ruby is me,welcome to my blog.
end

代替一行或多行
[root@localhost ruby] # sed '1c Hi' ab                #第一行代替为Hi
Hi
ruby is me,welcome to my blog.
end
[root@localhost ruby] # sed '1,2c Hi' ab             #第一行到第二行代替为Hi
Hi
end

替换一行中的某部分
格式：sed 's/要替换的字符串/新的字符串/g'   （要替换的字符串可以用正则表达式）
[root@localhost ruby] # sed -n '/ruby/p' ab | sed 's/ruby/bird/g'    #替换ruby为bird
[root@localhost ruby] # sed -n '/ruby/p' ab | sed 's/ruby//g'        #删除ruby

插入
[root@localhost ruby] # sed -i '$a bye' ab         #在文件ab中最后一行直接输入"bye"
[root@localhost ruby]# cat ab
Hello!
ruby is me,welcome to my blog.
end
bye

删除匹配行

sed -i '/匹配字符串/d'  filename  （注：若匹配字符串是变量，则需要“”，而不是‘’。记得好像是）

替换匹配行中的某个字符串

sed -i '/匹配字符串/s/替换源字符串/替换目标字符串/g' filename

awk

awk '{pattern + action}' {filenames}

尽管操作可能会很复杂，但语法总是这样，其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式，用斜杠括起来。
awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。
通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。

ubuntu@ubuntu:~/chat-project/test$ last -n 5
ubuntu   pts/9        192.168.43.254   Sun Jul 28 17:03   still logged in
ubuntu   pts/9        192.168.43.254   Sun Jul 28 04:37 - 04:37  (00:00)
ubuntu   pts/9        192.168.43.254   Sun Jul 28 04:37 - 04:37  (00:00)
ubuntu   pts/9        192.168.43.254   Sun Jul 28 04:37 - 04:37  (00:00)
ubuntu   pts/9        192.168.43.254   Sun Jul 28 04:37 - 04:37  (00:00)

ubuntu@ubuntu:~/chat-project/test$ last -n 5 | awk '{print $1}'
ubuntu
ubuntu
ubuntu
ubuntu
ubuntu

ubuntu@ubuntu:~/chat-project/test$ head /etc/passwd | awk -F ':' '{print $1}'
root
daemon
bin
sys
sync
games
man
lp
mail
news

ubuntu@ubuntu:~/chat-project/test$ head /etc/passwd | awk -F ':' 'BEGIN {print "hello world"} {print $1, $7} END { print "end"}'
hello world
root /bin/bash
daemon /usr/sbin/nologin
bin /usr/sbin/nologin
sys /usr/sbin/nologin
sync /bin/sync
games /usr/sbin/nologin
man /usr/sbin/nologin
lp /usr/sbin/nologin
mail /usr/sbin/nologin
news /usr/sbin/nologin
end

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

搜索root所在的行
ubuntu@ubuntu:~/chat-project/test$ awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

显示root所在行的bash信息
ubuntu@ubuntu:~/chat-project/test$ awk -F: '/root/{print $7}' /etc/passwd
/bin/bash