shell.2文本处理工具

1.grep

作用

Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。

grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。

grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展，支持更多的re元字符，
fgrep就是fixed grep或fast grep，

它们把所有的字母都看作单词，也就是说，正则表达式中的元字符表示回其自身的字面意义，不再特殊。

格式

• grep -E = egrep
• grep 格式
• grep +匹配条件+处理文件

grep root file #过滤root关键字
grep ^root file ##以root开头
grep root$ file ##以root结尾
grep -i root file ##后略大小写
grep -E "\<root" file ##root字符之前不能有字符
grep -E "root\>" file ##root字符之后不能有字符
grep -数字 ##显示过滤行以及上面几行和下面几行
grep -n ##显示匹配的行所在行号
grep -A ##显示过滤行以及下面几行
grep -B ##显示过滤行以及上面几行
grep -v ##反向过滤

• grep字符数量匹配规则

^myr	以myr开有
myr$	以myr结尾
w…s	w开头s结尾中间4个任意字符
…s	s结尾前面3个任意字符
✳	字符出现0到任一次
?	0到1次
➕	1到任一次
{n}	n次
{m,n}	m到n次
{0,n}	0-n次
{,n}	0-n次
{m,}	最少m次
(myr){2}	lee字符串出现2次

练习脚本：
请显示系统中能被su命令切换的用户名称

2.sed

• 命令格式：
• sed 参数 命令 处理对象
• sed 参数 处理对象 -f 处理规则文件
• 对字符的处理：

参数	作用
p	显示
d	删除
a	添加
c	替换
w	把符合的行写到指定文件中
i	插入
r	整合

• p ##显示

sed -n 5p file ##显示第五行
sed -n 3,5p file ##显示3到5行
sed -ne "3p;5p" file ##显示3和5行
sed -ne 1,5p file ##1-5行
sed -ne '5,$p' file ##5到最后以行
sed -n '/^#/p' file ##显示以#开头的行
sed -n '/#$/p' file##显示以#结尾的行

• d ##删除

sed 5d file ##删除第五行
sed '/^#/d' file ##把#开头的行删除
sed '/^#/!d' file ##除了#开头以外的行都删除
sed -e '5,$d' file##删除第五行以后的

• a ##添加

sed -e '$a hello world' file##在最后一行添加hello world
sed -e '$a hello\nworld' file
sed -e '/^#/a hello world' file##在以#开头的行后添加一行hello world

• c ##替换

sed -e '/^#/c hello world' fstab##把以#开头的行替换为hello world
sed '5c hello world' westos##把第五行替换为hello world

• w ##把符合的行写到指定文件中

sed '/^#/w newfile' file ##把file中#开头的行写入newfile中

• i ##插入

sed '5i hello world' file##在第五行插入hello world

• r ##整合文件

sed '5r haha' file

• sed 字符替换

 sed 字符替换
sed 's/:/###/g' file #把全部冒号替换为###
sed 's/:/###/' file #把每行的第一个冒号替换成###
sed 's/:/###/2' file #把每行的第2个冒号替换成###
sed 's/:/###/g' file 
sed '1,5s/:/###/g' file #把第一行和第五行的冒号替换成###
sed '1s/:/###/g' file #把第一行的冒号替换成###
sed '1s/:/###/g;5s/:/###/g' file #把第一行和第五行的冒号替换成###
sed '/lp/,/shutdown/s/:/###/g' file ## 把lp和shutdown之间得冒号全部替换为###
sed 's/\//####/g' file ##把/替换为###，\转义字符
sed 's@/@####@g' file 
sed 's@/@####@g' -i file 把sed处理的内容保存到file文件中

• @和/均可作为分隔符

• 练习脚本 ：
  Apache_port.sh 此脚本后介入数字，http的端口就改为此数字，假设selinux为关闭状态。
  
  
  

3.awk

• awk -F 分隔符 BEGIN{}{}END{} FILENAME不加-F，分隔符默认为空格

NR	行数
NF	列数
FILENAME	文件名称本身
myr	myr变量值
“myr”	myr字符串
/bash$/	条件
/条件1︱条件2/	条件1或者条件2
/条件1/‖/条件2/	条件1或者条件2
/条件1/&&/条件2/	条件1并且条件2
$0	所有的列
$1	第一列
$2	第二列
$3	第三列

• awk -F : '$6!~/home/&&/bash$/{print}' /etc/passwd/etc/passwd文件的第六列没有home关键字并且以bash结尾的行
• awk -F: '/root/' /etc/passwd 搜索/etc/passwd有root关键字的所有行
  

• 小练习：
  统计在系统中能su切换的并且用户家目录不在/home下的用户数量