Linux下shell中的文本处理正则表达式

1.grep 文本过滤命令

Global search regular expressing and print out the line

全面搜索研究正则表达式并显示出来
grep命令是一种强大的文本搜索工具，根据用户指定的”模式“对目标文本进行匹配检查，打印匹配到的行
由正则表达式或者字符及基本文本字符所编写的过滤条件

grep的格式
grep 匹配条件 处理文件
e.g.

grep root passwd				/过滤出passwd中含有root的行
grep ^root passwd 				/过滤出passwd中以root开头的行
grep root$ passwd 				/过滤出passwd中以root结尾的行
grep -i root passwd	   			/忽略大小写过滤出passwd中含有“root”的行
grep -E "root|ROOT" passwd			/过滤出passwd中含有root或ROOT的行
grep -Ei "^root|root$" passwd -v | grep root	/过滤出passwd中除了以root开头和结尾的行
grep ROOT passwd -n2 				/过滤出passwd中ROOT行以及它的上下两行
grep ROOT passwd -A1 				/过滤出passwd中ROOT行以及它的下一行
grep ROOT passwd -B1				/过滤出passwd中ROOT行以及它的上一行

grep中字符的匹配位置设定

^关键字
关键字$
\<关键字
关键字\>
\<关键字\>

grep中的字符的匹配次数设定

*			/字符出现[0-任意次]
\>			/字符出现[0-1次]
\+			/字符出现[1-任意次]
\{n\}			/字符出现[n次]
\{m,n\} 		/字符出现[最少m次,最多n次]
\{0,n\}			/字符出现[0-n次]
\{m,\}			/字符出现[至少m次]
\(xy\)\{n\}xy		/关键字出现[n次]
.*			/关键字之间匹配任意字符

grep中的正则表达式

^westos
westos^
'w....s'
'w.....'
'.....s'

grep正则表达式与扩展正则表达式
正规的grep不支持扩展的正则表达式，竖线是用于表示“或”的扩展正则表达式元字符，正规的grep无法识别
加上反斜杠，这个字符就像被翻译成扩展正则表达式，就像grep和grep -E一样

grep xy westos        	      /过滤查看westos文件中的xy
grep x*y westos               /x个数任意后跟y
grep x.y westos     	      /xy中间跟任意一个字符
grep -E  x?y westos 	      /y前紧跟0-1个x
grep -E  x+y westos   	      /y前紧跟x个数是1到任意个,匹配到所有的对
grep -E  x{1}y westos	      /y前有一个x即可，匹配所有
grep -E  "\<x{1}y" westos     /y前有一个x,且在行首
grep -E  "x{1}y\>" westos     /y前有一个x,且在行末
grep -E  "\<x{2}y\>" westos   /y前有二个x，且一行只有xy
grep -E  "x{1,}y" westos      /y前的x个数1到任意，匹配所有
grep -E  "(xy){1,}" westos    /xy个数1到任意

2.sed 行编辑器

stream editor

用来操作纯ASCII码文本
处理时，把当前处理的行李存储在临时缓冲区中，称为”模式空间“（pattern space)可以指定仅仅处理哪些行
sed 符合模式条件的处理，不符合条件的不予处理
处理完成之后把缓冲区的内容送往屏幕
接着处理下一行，这样不断重复，直到文件末尾

sed用法
p模式
显示

sed -n '/\:/p' fstab     /屏蔽掉模式空间内容，显示fstab文件中有符号：的行
sed -n '/UUID$/p' fstab  /屏蔽掉模式空间内容，显示UUID结尾的行
sed -n '/^UUID/p' fstab  /屏蔽掉模式空间内容，显示UUID开头的行
sed -n '2p;6p' fstab     /屏蔽掉模式空间内容，显示第2行和6行
sed -n '2,6p' fstab      /屏蔽掉模式空间内容，显示2-6行
sed -n '2,6!p' fstab     /屏蔽掉模式空间内容，2-6行不显示

模式空间中存在文件所有内容

-n       只显示，屏蔽模式空间内的数据
不加-n    多显示，将选择的内容显示一次，再将文件内容显示一次，相当于选择内容显示两次

例：ifconfig eth0 | sed -n '/inet\>/p' /查看ifconfig eth0 显示inet行的内容
例：显示行数

cat -b fstab > westos
sed 5p westos

d模式
删除
/不能屏蔽内存空间，即使用-n

sed '/^UUID/d' fstab   /不显示UUID开头的行
sed '/^#/d' fstab      /不显示以#开头的行
sed '/^$/d' fstab      /不显示空行，删掉空行
sed '1,4d' fstab       /不显示1-4行
sed '/^UUID/!d' fstab  /不显示以UUID的行  

a模式
下边添加

sed '/^UUID/a \hello sed' fstab  /在以UUID开头的行下一行添加hello sed内容
sed '/^UUID/a \hello sed\nwestos' fstab  /在以UUID开头的行下一行添加hello sed内容，并换行添加westos

i模式
上边插入

sed '/^UUID/i \hello sed\nwestos' fstab  /在以UUID开头的行上一行添加hello sed内容，并换行添加westos

c模式
替换

sed '/^#/c\hello westos' fstab   /在文件fstab中将以#开头的行的内容全部换成hello westos

w模式
写到文件里

sed '/^UUID/w /mnt/yy.txt' /etc/fstab     /在文件/etc/fstab中将以UUID开头的行的内容全部写入到文件yy.txt，yy.txt可以原不存在，直接写入
sed -n '/^UUID/w /mnt/yy.txt' /etc/fstab  /在文件/etc/fstab中将以UUID开头的行的内容全部写入到文件yy.txt，加-n在写入时不显示模式空间内容
sed '/^UUID/=' fstab        /在以UUID开头的行添加行号
sed '6r /etc/issue' /etc/fstab  /将/etc/issue写入到/etc/fstab第六行   
sed '/^#/=' fstab > file1   /给fstab文件中以#开头的行加行号导入到法file1文件（必须存在），不改变fstab文件内容
sed '/^#/=' fstab -i file1  /给fstab文件中以#开头的行加行号，并把他导入到法file1文件
/加行号不能使用/w写入文件
-i 可更改本身内容
> 不更改本身内容，但有清空本身内容的功能

整合文件

sed  '/^[0-9]/d' -i fstab  /将0-9开头的行屏蔽掉整合到文件fstab,文件中不存在有行号的行

例：

sed '/^#/=' fstab > fstab  /fstab内容被清空
sed '/^$/d;/^#/=' fstab    /屏蔽空行，并显示行号

例：

sed -n '/^[0-9]/p'  fstab  /若不需要则整合
sed  '/^[0-9]/d' -i fstab

sed的其他用法

sed -n '/^UUID/=' fstab   /屏蔽掉模式空间，显示以UUID开头行的行号
sed -n -e '/^UUID/p' -e '/^UUID/=' fstab  /-e表示直接在命令列模式上进行sed动作的

编辑;表示同时的意思

sed -e 's/See/westos/g;s/by/lee/g' fstab   /直接在命令列模式上进行替换
sed -f rule fstab   /-f后边跟sed脚本文件名，表示对于fstab执行rule规则 
sed 's/^\//#/g'  /etc/fstab   /将/etc/fstab全文以/做为开头的/替换为#
sed 's@^/@#@g' /etc/fstab     /将/etc/fstab全文以/做为开头的/替换为#
sed 's/\//#/g' /etc/fstab     /将/etc/fstab全文的/替换为#
sed '1,4s/#//g' /etc/fstab    /将/etc/fstab中1-4行的#全部替换成空

例：sed -f rule fstab的用法

  vim rule
       /^UUID/d
       /^#/cwestos
 sed -f rule fstab

sed 'G'   passwd      /显示passwd文件每一行后边加一个空行
sed '$!G' passwd      /显示每一行后边加一个空行，最后一行不加
sed '='   passwd      /显示每一行的前一行加上此行行号
sed '='   passwd | sed 'N;s/\n //g'   /sed逐行加载，加N；则加载此行时同时下一行,s表示全文\n表示换行符
显示最后一行，与tail -n 1意思相同

3.awk 报告生成器

awk处理机制：awk会逐行处理文本，支持在处理第一行之前做一些准备工作，以及在处理完最后一行做一些总结性的工作，在命令模式上分别体现如下：
BEGIN{}:读入第一行文本之前执行，一般用来初始化操作
{}:逐行处理，逐行读入文本执行相应的处理，是最常见的编辑指令块
END{}:处理完最后一行文本之后执行，一般用来输出处理结果
awk基本用法
linux上面默认使用gawk

awk '{print FILENAME}' passwd        /每处理文件passwd中一行内容就打印一次文件名
awk -F : '{print NF}' passwd         /以 ： 做为分隔符，抓取文件中每行内容的列数
awk -F : '{print NR}' passwd         /以 ： 做为分隔符，抓取passwd文件每行的行号
awk -F : '{print NF,NR}' passwd	     /以 ： 做为分隔符抓取passwd文件行数和列数
awk 'BEGIN{print NAME}'              /以 ： 做为分隔符，开头打印字符NAME
awk 'END{print END}'                 /结尾打印字符END
awk -F ： 'BEGIN{print NAME}{print $1}END{print END}' passwd  #在passwd文件以 ： 做为分隔符,开头输出NAME，输出第一列内容，末尾输出END
awk '/bash$/' passwd                 /抓取以bash结尾的一行
awk -F : '/bash$/{print $1}'passwd   /抓取以bash结尾的一行并输出第一列
cat -b passwd       #查看passwd文件内容并标明行

例：抓取eth0网卡的ip

ifconfig eth0 | awk '/inet\>/ {print $2}'

例：统计在系统中可以登陆系统的用户并且家目录不在/home

awk -F : 'BEGIN{n=0}/bash$/&&$6!~/^\/home/ {print;n++}END{printf n}‘ passwd
$6~/bin 第六列等于bin
\< 防止前面有字符
>/ 防止后面有字符