linux shell awk sed,Linux shell命令 awk && sed && sort详解

一个点(.)代表一个字符。

比如：.a. 代表3个字符，中间一个字符是a，两边各一个任意字符。

比如：... 代表3个任意字符。

若要匹配点(.)本身，则使用转义字符。

比如：my... 代表my.后接两个字符。

行首匹配^

行尾匹配$

[...] 代表字符串中的一个字符。

比如：[abc] 代表a或b或c中的任意一个字符。

比如：[Mm]y 代表My或者my。

^出现在[]里，代表“非”

比如：[^a]代表不是a

*代表前面的字符有0个或者0个以上

比如：a*b代表ab或aab或aaab等。

{...}代表制定符合的个数。

比如：{1,5}代表前面的字符有1-5个。

1 sort的工作原理

sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

[rocrocket@rocrocket programming]$ cat seq.txt

banana

apple

pear

orange

[rocrocket@rocrocket programming]$ sort seq.txt

apple

banana

orange

pear

2 sort的-u选项

它的作用很简单，就是在输出行中去除重复行。

[rocrocket@rocrocket programming]$ cat seq.txt

banana

apple

pear

orange

pear

[rocrocket@rocrocket programming]$ sort seq.txt

apple

banana

orange

pear

pear

[rocrocket@rocrocket programming]$ sort -u seq.txt

apple

banana

orange

pear

pear由于重复被-u选项无情的删除了。

3 sort的-r选项

sort默认的排序方式是升序，如果想改成降序，就加个-r就搞定了。

[rocrocket@rocrocket programming]$ cat number.txt

1

3

5

2

4

[rocrocket@rocrocket programming]$ sort number.txt

1

2

3

4

5

[rocrocket@rocrocket programming]$ sort -r number.txt

5

4

3

2

1

Sed

sed基本语法：sed '样式' 文件

样式中，使用// 代表寻找，比如1,5代表第一到第五行，/aaa/,/bbb/ 表示作用范围从aaa的行到bbb的行。

例子：

sed '1,4d' file 指的是把第一到第四行删除。

sed '/aaa/d' file 指的是把还有aaa的那行删除。

sed '/[0-9]{3}/d' file 指的是把还有3个数字的行删除。

sed '/^$/d' file 指的是把空白行删除。

sed '/aaa/!d' file 指的是把不含有aaa行的删除。

sed '/aaa/p' file 指的是把含有aaa的行显示出来。

sed -n '/aaa/p' file 指的是把含有aaa的行显示出来，同时显示行号。

使用sed取代字符

例子：

sed 's/aaa/bbb/p' file 将bbb取代aaa，只取代一次。

sed 's/aaa/bbb/pg' file 将bbb取代aaa，全部取代。

sed 's/aaa//p' file 将aaa删除，只删除一次。

sed 's/^...//' file 将每行的前3个字符删除。

sed 's/...$//' file 将每行的后3个字符删除。

sed -n 's/(a)/1b/p' file 找到第一个a然后替换成ab。

awk

awk '/aa/' file 显示含有aa的行。

awk '{print $1, $2}' file 显示第一第二字段。

awk '/aa/{print $1, $2}' file 将含有aa的行的第一和第二个字段显示出来。

awk -F: '/^root/{print $1, $2}' /etc/passwd

指定:为分隔符，打印第一和第二字段。

awk -F: 'BEGIN{OFS="+++"}'/^root/{print $1, $2} /etc/passwd

以:为分隔符，打印第一和第二段，而且彼此用+++分开。

/

实例

删除：d命令

$ sed '1d' example-----删除example文件的第1行。

$ sed '$d' example-----删除example文件的最后1行。

$ sed '/[2-10]/d' example-----删除example文件的第2行删除至第10行。

或 sed '2,10d' example

$ sed '2,$d' example-----删除example文件的第二行到末尾所有行。

$ sed '/test/d' example-----删除example文件所有包含test的行。

$sed '/test/!d' example ------删除example文件中除test行之外的所有行。

$sed '/^$/d' file1　　------删除file1中所有空行的行。

$sed '^$/d' file1 -----删除file1中的空行。

插入：i命令

$sed '2i test_context -----在第2行的上面插入一行test_context内容。

$sed '1,3s/^/#/' file1 -----在1至3行的前面添加注释“#”。

$sed -i file1.bak '1i#!/bin/bash'

file1 ----在file1中的第1行之上插入“#!/bin/bash”,并且将原文件备份为file1.bak。

$sed -i '1c#!/bin/bash' file1 ------把file1中第一行替换为"#!/bin/bash"。

显示：p命令

$sed -n '3p'

file1 ------显示file1文件中的第1行。

$sed -n '1,3p' file1 ------显示file1文件中的第1至3行。

$sed -n '1,3!p' file1 -----不显示file1文件中的第1至3行。

$sed -n '$p'

file1 -----显示file1文件中的最后一行。

$sed -n '$='

file1 -----显示file1文件中的行数，等同于 $ cat file1 | wc -l

替换：s命令

$ sed 's/test/mytest/g'

example-----在整行范围内把test替换为mytest。如果没有g标记，则只有每行第一个匹配的test被替换成mytest。

$ sed -n 's/^test/mytest/p'

example-----(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说，如果某一行开头的test被替换成mytest，就打印它。

$ sed 's/^192.168.0.1/&localhost/'

example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加localhost，变成192.168.0.1localhost。

$ sed -n 's/(love)able/1rs/p'

example-----love被标记为1，所有loveable会被替换成lovers，而且替换的行会被打印出来。

$ sed 's#10#100#g'

example-----不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，“#”在这里是分隔符，代替了默认的“/”分隔符。表示把所有10替换成100。

$sed 's#3#1#g'

file1 把file1中的3列替换为1列。

选定行的范围：逗号

$ sed -n '/test/,/check/p'

example-----所有在模板test和check所确定的范围内的行都被打印。

$ sed -n '5,/^test/p'

example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。

$ sed '/test/,/check/s/$/sed test/'

example-----对于模板test和west之间的行，每行的末尾用字符串sed test替换。

多点编辑：e命令

$ sed -e '1,5d' -e 's/test/check/'

example-----(-e)选项允许在同一行里执行多条命令。如例子所示，第一条命令删除1至5行，第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。

$ sed --expression='s/test/check/'

--expression='/love/d' example-----一个比-e更好的命令是--expression。它能给sed表达式赋值。

从文件读入：r命令

$ sed '/test/r file'

example-----file里的内容被读进来，显示在与test匹配的行后面，如果匹配多行，则file的内容将显示在所有匹配行的下面。

写入文件：w命令

$ sed -n '/test/w file'

example-----在example中所有包含test的行都被写入file里。

追加命令：a命令

$ sed '/^test/a\--->this is a example' example

a example'被追加到以test开头的行后面，sed要求命令a后面有一个反斜杠。