sed：linux常用工具 & 基本正则表达式

grep 见链接：http://www.cyberciti.biz/faq/grep-regular-expressions/

sed参考文章：http://www.thegeekstuff.com

---

sed工作原理

This is called as one execution cycle. Cycle continues till end of file/input is reached：
1. Read a entire line from stdin/file.
2. Removes any trailing newline.
3. Places the line, in its pattern buffer.
4. Modify the pattern buffer according to the supplied commands.
5. Print the pattern buffer to stdout.

---

sed使用语法：

sed [-nefri] [命令]
描述：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e ：直接在命令列模式上进行 sed 的动作编辑；
-f ：运行一个文件内的 sed 命令， -f filename 则可以运行 filename 内的 sed 动作；
-i ：直接修改读取的文件内容，而不是输出到终端。

---

常用例程：

# 将 ssh_config 文件中的 "GSSAPIAuthentication" 替换为 "GSSAPIAuthentication no"
# 见正则表达式匹配规则
sed -i 's/^GSSAPIAuthentication.*/GSSAPIAuthentication no/g' /etc/ssh/ssh_config

# 将 interfaces 中的 ip 改成静态的 192.168.1.123
if grep -Fq "192.168.1.111" /etc/network/interfaces
then
    sed -i -e 's/192.168.1.111/192.168.1.123/g' /etc/network/interfaces
else
(
cat <<'EOF'

auto lo
iface lo inet loopback
auto eth0
iface eth0 inet static
address 192.168.1.123
netmask 255.255.255.0
gateway 192.168.1.1

EOF
) > /etc/network/interfaces

fi

---

详细sed使用说明：

匹配的的格式（行号，模式字符串）：

1. ADDRESS（行号）:
   n : 匹配第几行
   m,n : 从m到n行
   m~n :从m行开始，每隔n行
   '$' : 最后一行

2. PATTERN（字符串）:
   /sometext/ : 匹配有sometext字符串的行

例如：

sed -n 'ADDRESS'd filename  // 行删除，delete,不会删除文件中的内容，只是在标准输出中删除该行。除非加了 -i 选项
sed -n '/PATTERN/d' filename

sed 'ADDRESS a\
    some text'  filename    // 行追加，append，在匹配行的下一行添加"some text"，注意单引号
sed '/PATTERN/ a\
    some text' filename  // e.g: sed '/123/a456' aaa.txt  在匹配的123行之后插入456（一行）

sed 'ADDRESS i\
    some text' filename    // 行插入，insert,在匹配行前插入一行
sed '/PATTERN/ i\
    some text' filename  // e.g: sed '/123/i456' aaa.txt  在匹配的123行之前插入456（一行）

sed 'ADDRESS c\
    some text' filename    // 行替换，替换匹配的行
sed 'PATTERN c\
    some text' filename  // e.g: sed '/123/c456' test.txt； 将匹配的123行替换为456（一行）

最常用的，字符串替换（非行替换，详见下文的查找和替换）：
sed 's/123/456/' aaa.txt  // 将第一个匹配的123替换为456，不会修改文件，除非加上 -i 选项
sed -i 's/123/456/g' aaa.txt  // 替换文件中所有匹配的123，global，直接修改文件
sed -i 's/123/456/2' aaa.txt  // 替换第二个匹配的 123，直接修改文件

---

sed 正则表达式查找和替换：

's' 命令应该是sed中最重要的命令，语法如下：

sed 'ADDRESSs/REGEXP/REPLACEMENT/FLAGS' filename
sed 'PATTERNs/REGEXP/REPLACEMENT/FLAGS' filename

例子：

sed '1s/aa/bb/' text.txt        //用bb替换aa，只在aa第一次出现的地方进行替换
sed '2s/aa/bb/' text.txt    //用bb替换aa，只在aa第二次出现的地方进行替换
sed 's/aa/bb/g' text.txt    //用bb替换aa，g(global )是全局替换的意思。不加g默认也是全局替换。
sed -n 's/aa/bb/gpw result.txt' text.txt    //g全局替换，p打印，w将替换结果写到result.txt文件中

sed 's/...$//' text.txt        //正则表达式匹配：将最后位置的前三个字符替换为空，即删除每行的最后三个字符。

sed -i 's/aa/bb/gI' text.txt  // 加上 I 标识表示不区别大小写
sed -i 's_aa_bb_gI' text.txt  // 如果匹配的字符串中包含/等特殊字符，可以用其他字符替换/，例如本例的_（也可以换成其他任意字符）。

---

执行多条sed命令

sed -e: use multiple -e options to build up a script out of many parts。
-e option is optional for sed with single command. sed will execute the each set of command while processing input from the pattern buffer

-e script, --expression=script

    add the script to the commands to be executed

例子：

sed -e 's/foo/bar/' -e '/FOO/d'

或者，以分号隔开：

sed -i -e 's/abc/efg/g; s/xyz/ghj/g' aaa.txt

解释：先用bar替换foo，然后再删除有字符串FOO的行

---

基本正则表达式

. ： 代表任意单个字符

示例： a.b : 表示acb/a*b/a b/a9b… 都可以但不能是accb/ab

* ： 重复前边的字符无限次

示例：a* : 表示a/aa/aaa/aaaa… 可以重复a无限次

.* : 任意长度的任意字符（即上面两个的组合）

示例：a.* : 表示a/ac/acc/a,b … 可以是a后边跟任意字符

？ ： 重复前边的字符0次或1次

示例：a?b : 表示ab/aab 其他的都不可以

[] ： 指定范围内的单个字符

示例： a[c|d]b : 表示acb/adb 其他的都不可以

^ : 行首匹配，必须出现在行首

示例：^a : 表示所有以a开头的行

$ : 行尾匹配，必须出现在行尾，注意词尾与行尾的区别

示例：a$ :表示所有以a结尾的行

[^ ] : 取反，非指定范围内的单个字符

示例：a[^d]b : 表示除了adb 其他的acb/abb/a b…都可以

^$ : 空白行

\< : 词首匹配，必须出现在词首

示例：\< a : 表示a/acv/abcc… 所有以a开头的单词

\> : 词尾匹配，必须出现在词尾，注意词尾与行尾的区别

示例：a> : 表示a/cda/cca/… 所有以a结尾的单词

\{m,n\} : 重复前边的字符至少m次，最多n次，必须加上反斜杠转义

示例：a{1,3} : 表示 a/aa/aaa 可以重复a最少1次最多3次

\{m,\} : 重复前边的字符至少m次，必须加上反斜杠转义

示例：a{2,} : 表示aa/aaa/aaaa… 可以重复a最少2次最多不限

\{0,n\} : 重复前边的字符最多n次，必须加上反斜杠转义

示例：a{0,3} : 表示 空/a/aa/aaa 可以重复a最多3次也可以不重复也就是空

\{m\} : 重复前边的字符精确匹配m次，必须加上反斜杠转义

示例：a{2} : 表示 aa 精确匹配重复a2次

\(\) : 分组字符，可用\1引用左数第一个（中包含的内容

示例： a\(abc\)\1 表示：aabcabc \1引用了（）中的abc

[ :upper: ] : 单个任意大写字母，注意[]与：之间有个空格，下同

示例：a[:upper:] 表示：aA/aB/aC… a后边跟任意一个大些字母

[ :lower: ] : 单个任意小写字母

[ :space: ] : 单个空白字符

[^[ :space: ]] : 单个非空白字符

[ :digit: ] : 单个任意数字0-9

示例：a[:digit:]b 表示： a0b/a1b/a2b… a和b中间跟任意一个0-9的数字

[ :alpha: ] : 单个任意字母

[ :alnum: ] : 单个任意字母或数字

[:punct:] : 单个任意特殊符号

扩展正则表达式元字符：
扩展正则表达式简化了基本正则中的一个元字符，又增加了几个。
\{m,n\} → {m,n} : 用法与基本正则中的一样

示例：a{1,3} 表示： a/aa/aaa

\(\) → () : 用法与基本正则中的一样

示例：(abc)\1 表示：abcabc

+ : 匹配前边的字符一次或多次

示例：a+ 表示： a/aa/aaa/aaaa…

| 表示或

示例：(a|b)c 表示： ac/bc