shell的文本处理工具：grep、sed、awk

---

前言

本节整理grep、sed、awk三种文本处理工具；
(1)Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式（又称规则表达式）搜索文本，并把匹配的行打印出来；
(2)sed是一种流编辑器，它一次处理一行内容；
(3)awk理解为报告生成器，能够使用条件判定等多种命令截取我们所需要的数据，在日常的工作中用途广泛；

---

一、grep：过滤关键字

Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本（又称规则表达式），并把匹配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。

全称：[Globally search a Regular Expression and Print]
grep
grep -E = egrep         ##扩展搜索表达式
                        ##（-E条件中的字符能被grep识别和-e加多个条件时进行连接）

##grep 格式##
grep 匹配条件 处理文件

grep root passwd         #过滤root关键字
grep -i root passwd      ##忽略大小写
grep -E "\<root" passwd  ##root字符之前不能有字符，防止贪婪模式向前
grep -E "root\>" passwd  ##root字符之后不能有字符
grep -数字               ##显示过滤行以及上面几行和下面几行
grep -n                  ##显示匹配的行所在行号
grep -A                  ##显示过滤行以及下面几行（after）
grep -B                  ##显示过滤行以及上面几行（before）
grep -v                  ##反向过滤

grep字符数量匹配规则
^westos       ##以westos开有
westos$       ##以westos结尾
w....s        ##w开头s结尾中间4个任意字符
.....s        ##s结尾前面5个任意字符
*             ##字符出现任意
?             ##0到1次
+             ##1次到任意次
{n}           ##n此
{m,n}         ##m到n次
{0,n}         ##0-n次
{,n}          ##0-n次
{m,}          ##最少m次
(lee){2}      ##lee字符串出现2次：egrep "r(lee){2}t" passwd 

二、sed：流编辑器

sed是stream editor的缩写，一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件，简化对文件的反复操作，编写转换程序等。

命令格式：
sed 参数 命令 处理对象
sed 参数 处理对象 -f 处理规则文件

对字符的处理
p ##显示
sed -n 5p westos      ##显示第五行
sed -n 3,5p westos    ##显示3到5行
sed -ne "3p;5p westos ##显示3和5行
sed -ne 1,5p westos   ##1-5行
sed -ne '5,$p' westos ##5到最后以行
sed -n '/^#/p' fstab  ##显示以#开头的行

d ##删除
sed 5d westos         ##删除第五行
sed '/^#/d' fstab     ##把#开头的行删除
sed '/^UUID/!d' fstab ##除了UUID以外的行都删除
sed -e '5,$d' westos

a ##添加
sed -e '$a hello world' fstab
sed -e '$a hello\nworld' fstab     ##\n换行
sed -e '/^#/a hello world' fstab

c ##替换
sed -e '/^#/c hello world' fstab
sed '5chello world' westos

w ##把符合的行写到指定文件中
sed '/^UUID/w westofile' westos    ##把westos中UUID开头的行写入westosfile中

i ##插入
sed '5ihello westos' westos

r ##整合文件
sed '5r haha' westos

sed 字符替换
sed 's/:/###/g' westos            ##s:行 ；g:列 ；^&##空行
sed 's/:/###/' westos             ##每行出现的第一个
sed 's/:/###/g' westos 
sed '1,5s/:/###/g' westos         ##第一行至第五行
sed '1s/:/###/g' westos 
sed '1s/:/###/g;5s/:/###/g' westos 
sed '/lp/,/shutdown/s/:/###/g' westos  ##全文的lp至shutdown字符之间
sed 's/\//####/g' westos          ##全文的\转换成####
sed 's@/@####@g' westos 
sed 's@/@####@g' -i westos        ##把sed处理的内容保存到westos文件中

vim rule
/^#/d                 ## #开头的删除
s/UUID/westos/g       ##UUID转换为westos
sed -f rule fastb     ##执行命令

sed '=' fastb         ##每一行后面添加行号
sed '=' fastb | sed 'N;s/\n/ /g' | sed -n 'p;n' 
                      ##显示所有奇数行，n;p显示所有偶数行|sed -n '1,5{p;n}' ，1-5行
 sed '$=' fastb       ##显示最后一行行号  

三、awk报告生成器：截取所需要的数据（非常重要）

截取所需要的数据

awk -F 分隔符 BEGIN{}{}END{} FILENAME

NR          #行数
NF          #列数
FILENAME    #文件名称本身
westos      #westos变量值
“westos”    #westos字符串

/bash$/            #条件
/条件1|条件2/      #条件1或者条件2
/条件1/||/条件2/   #条件1或者条件2
/条件1/&&/条件2/   #条件1并且条件2

$0    #所有的列
$1    #第一列
$2    #第二列
$3    #第三列

#/etc/passwd文件的第六列没有home关键字并且以bash或sh结尾的行
awk -F : '$6!~/home/&&/bash$|sh$/{print}' /etc/passwd

ifconfig ens160 | ask ‘/inet>/{print $2}’ ##ens160网卡ip抓取代码
截取CPU使用情况

---