shell中的文本处理正则表达式（grep+sed+awk：俗称linux中的三剑客）

一、正则表达式基本知识
概念：

• 正则表达式，又称规则表达式。(英语:Regular Expression，在代码中常简写为regex、regexp或RE)，计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。
• 许多程序设计语言都支持利用正则表达式进行字符串操作。例如，在Perl中就内建了一个功能强大的正则表达式引擎。正则表达式这个概念最初是由Unix中的工具软件(例如sed和grep)普及开的。
• 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个"规则字符串"，这个"规则字符串"用来表达对字符串的一种过滤逻辑。

目的：
给定一个正则表达式和另一个字符串，我们可以达到如下的目的:
1、 给定的字符串是否符合正则表达式的过滤逻辑(称作"匹配")。
2、可以通过正则表达式，从字符串中获取我们想要的特定部分。
二、grep文本过滤命令（Global search regular expression and print out the line）
全面搜索研究正则表达式并显示出来
grep命令是一种强大的文本搜索工具，根据用户指定的“模式”对目标文本进行匹配检查，打印匹配到的行
由正则表达式或者字符及基本文本字符所编写的过滤条件
【1】grep的格式（贪婪模式的匹配）
grep 匹配条件 处理文件

grep root passwd                  #在passwd中搜索全文的root行
grep ^root passwd                 #搜索passwd全文以root开头的航
grep root$ passwd                 #搜索passwd全文以root结尾的行
grep -i root passwd               #忽略大小写，搜索passwd全文以root结尾的行
grep -E "root|ROOT" passwd        #同时匹配多个条件

复制一份/etc/passwd到/mnt/，删除文件一部分内容，保留一部分，供实验使用

【2】参数：

-E	扩展正则表达式
-i	忽略大小写
^root	以root开头
root$	以root结尾
-v	除了
-n	显示行号
-n1	显示行号，并同时输出此行以及上下各一行
-1	不显示行号，同时输出此行以及上下各一行
-A1	显示此行，并显示他的下一行
-B1	显示此行，并显示他的上一行

测试：
grep -i root passwd

grep -i ^root passwd -v | grep root

grep ^root passwd -n1 #显示passwd文件中以root开头行的行号，并同时输出此行以及上下各一行

grep ^root passwd -A1

grep ^root passwd -nB1

【3】grep中的正则表达式

^westos
westos$
'w....s'
'w.....'
'.....s'

例：grep x…y ly 搜索x…y格式的行，位置任意

vim ly

grep x..y ly  #x与y之间两个任意的数

grep ....y  #y前面任意四个字母

【4】grep中字符的匹配次数设定

* 字符出现 [0-任意次]
? 字符出现 [0-1 次]
+ 字符出现 [1-任意次]
{n} 字符出现[n次]
{m,n} 字符出现[最少出现m次，最多出现n次]
{0,n} 字符出现[0-n次]
{m,} 字符出现[至少m次]
(xy){n} 字符xy出现[n次]
.* 关键字之间匹配任意字符
grep x* ly  #x个数任意
grep x*y ly

【4】grep中字符匹配位置设定

^关键字
关键字$
/<关键字
关键字\>
\<关键字\>

【5】grep正则表达式与扩展正则表达式
正规的grep不支持扩展的正则表达式，竖线是用于表示“或”的扩展正则表达式元字符，正规的grep无法识别
加上反斜杠，这个字符就像被翻译成扩展正则表达式，就像egrep和grep -E一样

grep xy ly   #过滤查看ly文件中的xy
grep x*y ly  #x个数任意后跟y
grep x.y ly  #xy中间跟任意一个字符
grep -E x?y ly     #y前紧跟0-1个x
grep -E x+y ly     #y前紧跟x个数是1到任意个,匹配到所有的对
grep -E x{1}y ly   #y前有一个x即可，匹配所有
grep -E "\<x{1}y" ly    #y前有一个x,且在行首
grep -E "x{1}y\>" ly    #y前有一个x,且在行末
grep -E "\<x{2}y\>" ly  #y前有二个x，且一行只有xy
grep -E "x{1,}y" ly     #y前的x个数1到任意，匹配所有
grep -E "(xy){1,}" ly   #xy个数1到任意

三、sed 行编辑器（stream editor）
用来操作纯ASCII码文本
处理时，把当前处理的行李存储在临时缓冲区中，称为”模式空间“（pattern space)可以指定仅仅处理哪些行
sed 符合模式条件的处理，不符合条件的不予处理
处理完成之后把缓冲区的内容送往屏幕，接着处理下一行，这样不断重复，直到文件末尾
sed用法
【1】p模式
显示

sed -n '/\:/p' /etc/fstab #屏蔽掉模式空间内容，显示fstab文件中有符号：的行
sed -n '/UUID$/p' /etc/fstab #屏蔽掉模式空间内容，显示UUID结尾的行
sed -n '/^UUID/p' /etc/fstab #屏蔽掉模式空间内容，显示UUID开头的行
sed -n '2p;6p' /etc/fstab #屏蔽掉模式空间内容，显示第2行和6行
sed -n '2,6p' /etc/fstab #屏蔽掉模式空间内容，显示2-6行
sed -n '2,6!p' /etc/fstab #屏蔽掉模式空间内容，2-6行不显示

模式空间中存在文件所有内容
(1)-n 表示只显示，屏蔽模式空间内的数据
(2)不加-n 表示多显示，将选择的内容显示一次，再将文件内容显示一次，相当于选择内容显示两次

例：ifconfig eth0 | sed -n '/inet\>/p' #查看ifconfig eth0 显示inet行的内容

例：显示行数

cat -b fstab > westos
sed 5p westos

【2】d模式
屏蔽
#不能屏蔽内存空间，即使用-n

sed '/^UUID/d' /etc/fstab #不显示UUID开头的行
sed '/^#/d' /etc/fstab #不显示以#开头的行
sed '/^$/d' /etc/fstab #不显示空行，删掉空行
sed '1,4d' /etc/fstab #不显示1-4行
sed '/^UUID/!d' /etc/fstab #显示以UUID的行

【3】a模式
下边添加

sed '/^UUID/a \hello sed' /etc/fstab #在以UUID开头的行下一行添加hello sed内容
sed '/^UUID/a \hello sed\nwestos' /etc/fstab #在以UUID开头的行下一行添加hello sed内容，并换行添加westos

【4】i模式
上边插入

sed '/^UUID/i \hello sed\nhello hello' /etc/fstab #在以UUID开头的行上一行添加hello sed内容，并换行添加hello

【5】c模式
替换

sed '/^UUID/c\hello westos\n hello hello' /etc/fstab #在文件/etc/fstab中将以#开头的行的内容全部换成hello westos换行hello hello

【6】w模式
写到文件里

sed '/^UUID/w /mnt/yy.txt' /etc/fstab #在文件/etc/fstab中将以UUID开头的行的内容全部写入到文件yy.txt，yy.txt可以原不存在，直接写入
sed -n '/^UUID/w /mnt/yy.txt' /etc/fstab #在文件/etc/fstab中将以UUID开头的行的内容全部写入到文件yy.txt，加-n在写入时不显示模式空间内容。
sed '/^UUID/=' fstab #在以UUID开头的行添加行号
sed '6r /etc/issue' /etc/fstab #将/etc/issue写入到/etc/fstab第六行
sed '/^#/=' fstab > file1 #给fstab文件中以#开头的行加行号导入到file1文件（必须存在），不改变fstab文件内容
sed '/^#/=' fstab   #给fstab文件中以#开头的行加行号，修改原文件内容

注意：

> 加行号不能使用/w写入文件
> -i 可更改本身内容
> 不更改本身内容，但有清空本身内容的功能

【7】整合文件

sed '/^[0-9]/d' -i fstab #将0-9开头的行屏蔽掉整合到文件fstab,文件中不存在有行号的行
例：
sed '/^#/=' fstab > fstab #fstab内容被清空
sed '/^$/d;/^#/=' fstab #屏蔽空行，并显示行号

例：

  sed -n '/^[0-9]/p' fstab #若不需要则整合
  sed '/^[0-9]/d' -i fstab

sed的其他用法
【1】

sed -n '/^UUID/=' fstab #屏蔽掉模式空间，显示以UUID开头行的行号
sed -n -e '/^UUID/p' -e '/^UUID/=' fstab #-e表示直接在命令列模式上进行sed动作的编辑，表示同时的意思
sed -e 's/See/westos/g;s/by/lee/g' fstab #直接在命令列模式上进行替换
sed -f rule fstab #-f后边跟sed脚本文件名，表示对于fstab执行rule规则
sed 's/^\//#/g' /etc/fstab #将/etc/fstab全文以/做为开头的/替换为#
sed 's@^/@#@g' /etc/fstab #将/etc/fstab全文以/做为开头的/替换为#
sed 's/\//#/g' /etc/fstab #将/etc/fstab全文的/替换为#
sed '1,4s/#//g' /etc/fstab #将/etc/fstab中1-4行的#全部替换成空

例：sed -f rule fstab的用法

vim rule
/^UUID/d
/^#/cwestos
sed -f rule fstab

例：sed ‘s/sbin/westos/g;s/nologin/lee/g’ passwd

【2】

sed 'G' passwd #显示passwd文件每一行后边加一个空行
sed '$!G' passwd #显示每一行并且后边加一个空行，最后一行不加
sed '=' passwd #显示每一行，在每行的前一行加上此行行号
sed '=' passwd | sed 'N;s/\n //g' #sed逐行加载，加N；则加载此行时同时下一行,s表示全文\n表示换行符。显示最后一行，与tail -n 1意思相同

三、awk 报告生成器
awk处理机制：awk会逐行处理文本，支持在处理第一行之前做一些准备工作，以及在处理完最后一行做一些总结性的工作，在命令模式上分别体现如下：
BEGIN{}:读入第一行文本之前执行，一般用来初始化操作
{}:逐行处理，逐行读入文本执行相应的处理，是最常见的编辑指令块
END{}:处理完最后一行文本之后执行，一般用来输出处理结果
awk基本用法
linux上面默认使用gawk

awk '{print FILENAME}' passwd #每处理文件passwd中一行内容就打印一次文件名
awk -F : '{print NF}' passwd #以 ： 做为分隔符，抓取文件中每行内容的列数
awk -F : '{print NR}' passwd #以 ： 做为分隔符，抓取passwd文件每行的行号
awk -F : '{print NF,NR}' passwd#抓取passwd文件行数和列数
awk 'BEGIN{print NAME}' #以 ： 做为分隔符，开头打印字符NAME
awk 'END{print END}' #结尾打印字符END
awk -F ： 'BEGIN{print NAME}{print $1}END{print END}' passwd #在passwd文件以 ： 做为分隔符,开头输出NAME，输出第一列内容，末尾输出END
awk '/bash$/' passwd #抓取以bash结尾的一行
awk -F : '/bash$/{print $1}'passwd #抓取以bash结尾的一行并输出第一列
cat -b passwd #查看passwd文件内容并标明行

例：抓取eth0网卡的ip

ifconfig eth0 | awk '/inet\>/ {print $2}'

例：统计在系统中可以登陆系统的用户并且家目录不在/home

awk -F :  'BEGIN{n=0}(/bash$/||/sh$/||/csh$/||/tcsh/)&&$6!~/home/ {printf ; n++}END{printf n}‘ /etc/passwd

   awk -F : 'BEGIN{n=0}/bash$/&&$6!~/home/ {printf ; n++}END{printf n}‘ /etc/passwd

  $6~/bin 第六列等于bin
    \< 防止前面有字符
    >/ 防止后面有字符