Shell中的文本处理工具 grep，sed，awk

1.grep

grep #支持基本正则表达式
grep -E = egrep #基础和扩展的这个则表达式都支持

##grep格式##

grep root passwd	#过滤root关键字
grep -i root passwd     #忽略大小写      
grep -E "root|nologin" passwd   #搜索含有root和nologin的行
grep -e root -e nologin passwd   #搜索含有root和nologin的行
grep -E “\<root” passwd    #被搜索字符之前不能有字符串
grep -E “root\>” passwd    #被搜索字符之后不能有字符串
grep -数字 关键字    显示含有关键字的上下几行
grep -n   #显示搜索字符所在的行的行号
grep -A数字 关键字	   #显示含有关键字的行及上几行
grep -B数字 关键字	   #显示含有关键字的行及下几行
grep -v         #反向过滤（显示不含有关键字的行）

字符数量匹配规则：

^westos		#以westos开头
westos$		#以westos结尾
w....s		#以w开头s结尾中间4个任意字符
.....s		#s结尾前面五个任意字符
*		#字符出现任意
？		#0-1次
+		#1次到任意次
{n}		#n次
{m,n}		#m-n次
{0,n}		#0-n次
{,n}		#0-n次
{m,}		#m次以上
{root}{2}	#字符root出现两次

实验：请显示系统中能被su命令切换的用户名称

[root@westoslinux mnt]# vim login.sh 
[root@westoslinux mnt]# sh login.sh
root
westos
zhang
[root@westoslinux mnt]# cat login.sh 
#!/bin/bash
grep -E "bash$|sh$" /etc/passwd | cut -d : -f 1

2.sed

命令格式：
sed 参数 命令 处理对象
sed 参数 处理对象 -f 处理规则文件

sed -e #表示多条策略的执行

对字符的处理：
p #显示

sed -n 5p westos	#显示第五行
sed -n 3,5p westos	#显示3到5行
sed -ne “3p;5p westos	#显示3和5行
sed -ne ‘5,$p’ westos   #显示5行到最后一行
sed -ne 1,5p westos     #1-5行
sed -n ‘/^#/p' fstab	#显示以#开头的行

d#删除

sed 5d westos      #删除第五行     
sed ‘/^#/d’ fstab	
sed ‘/^UUID/!d’ fstab	#除了UUID以外的行都删除
sed -e ‘5,5d’ westos

a #添加

sed -e ‘$a hello world’ fstab
sed -e '$a hello\world' fstab
sed -e '/^#/a hello world' fstab

c #替换

sed -e'/^#c hello world' fstab
sed '5chello world' fstab

W #把符合的行写到指定文件中

sed '/^UUID/w westosfile' westos    #把westos中UUID开头的行写入westosfile中

i #插入

sed ‘5ihello westos’ westos

r #整合文件

sed ‘5r haha’ westos

sed 字符转换

sed ‘s/sbin/westos/g’ passwd		#把全文的sbin替换成westos

sed ‘4,5s/sbin/westos/g’ passwd		#把4-6行的sbin替换成westos
sed '$s/sbin/westos/g' passwd		#把最后一行的sbin换成westos
sed '/lp/,/halt/s/sbin/westos/g' passwd   #把ip和halt字符之间的sbin替换成westos
sed 's///#####/g' passwd
sed 's/\//#####/g' passwd 	#把全文的/替换成#####
sed 's@/#####@g' passwd		#把全文的/替换成#####

sed ‘s@/@####@g’ -i passwd	#把sed处理的内容保存到westos文件中

编写脚本：
Apache_port.sh
此脚本接入数字
http的端口就改为数字
假设selinux为关闭状态
例如：
sh Apache_port.sh
ERROR: Please input port number following script ！！

sh Apache_port.sh 8080
apache的端口会被修改为8080

vim Apache_port.sh
///
 1 #!/bin/bash
  2 setenforce 0 &> /dev/null
  3 
  4 [ -z "$1" ] && {
  5   echo "ERROR: Please input port number following script ！！"
 6 exit
 7 }
  8 
  9 rpm -q httpd &> /dev/null || {
 10   echo "Error:Apache is not installed !!"
 11 exit
 12 }
 13 
 14 systemctl status httpd | grep "running" &> /dev/null || {
 15   echo "ERROR:Apache is running!!"
 16 exit
 17 }
 18 
 19 netstat -antlupe | grep -E ":$1" &> /dev/null && {
 20   echo "Error: $1 is in used !!"
 21 exit
 22 }
 23 
 24 sed "/^Listen/cListen $1" -i /etc/httpd/conf/httpd.conf
 25 systemctl restart httpd
 26 
 27 netstat -antlupe | grep http
 28 
///

3.awk

NR #行数
NF #列数
FILENAME #文件名称本身
westos #westos变量值
“westos” #westos字符串

/bash$/ #条件为以bash结尾
/条件1|条件2/ #条件1或条件2
/条件1/||/条件2/ #条件1或条件2
/条件1/&&/条件2/ #条件1并且条件2

$0 #所有的列
$1 #第一列
$2 #第二列：

awk -F : 'BEGIN{print "name"}{print $1}END{print "end"}' passwd
	#BEGIN表示运行处理策略之前做的动作，"name"字符串不加引号表示变量，字符串加引号表示字符串本身，print $1表示处理动作，END表示处理结束所做的事情

eg：

awk -F ： '{print NR}' passwd  #NR表示行数 
awk -F : '/nologin$/{print $1.$7}' passwd  #显示所有以nologin结尾的行
awk -F : '/nologin$|^root/{print $1.$7}' passwd   #'|'表示条件中两个元素或关系
awk -F : '/nologin$/||/^root/{print $1.$7}' passwd   #'||'表示两个条件或关系
awk -F ： ‘/bash/&&/^root/{print $1,$7}' passwd  #'&&'表示两个条件的并且
awk -F ： '$7~/bash$/{print $0}' passwd  #第七列是bash结尾的
awk -F ： '$7！~/bash$/{print $0}' passwd  #第七列不是bash结尾的

awk -F : '$6!~/home/&&/bash$/{print}' /etc/passwd   #/etc/passwd文件的第六列没有home关键字并且以bash结尾的行

练习：
统计在系统中能用su切换的用户且用户家目录不在/home下的用户数量：

awk -F : 'BEGIN{n=0}$6!~/^\/home/&&/bash$|sh$/{N++}END{print N}' /etc/passwd 

awk一条命令抓ens3网卡的ip

ifconfig ens3 | awk '/\<inet\> /{print $2}'

以上两道题也可以将命令写入.sh脚本文件中，指定脚本文件即可。