shell-文本处理工具

shell

---

---

一、grep （Globally search a Regular Expression and Print）

grep
grep -E = egrep

##grep 格式##
grep 匹配条件 处理文件
grep root passwd #过滤root关键字
grep -i root passwd ##后略大小写
grep -E "\<root" passwd ##root字符之前不能有字符
grep -E "root\>" passwd ##root字符之后不能有字符
grep -数字 ##显示过滤行以及上面几行和下面几行
grep -n ##显示匹配的行所在行号
grep -A ##显示过滤行以及下面几行
grep -B ##显示过滤行以及上面几行
grep -v ##反向过滤

grep字符数量匹配规则
^westos ##以westos开有
westos$ ##以westos结尾
w....s ##w开头s结尾中间4个任意字符
.....s ##s结尾前面5个任意字符
* ##字符出现任意
? ##0到1次
+ ##1次到任意次
{n} ##n此
{m,n} ##m到n次
{0,n} ##0-n次
{,n} ##0-n次
{m,} ##最少m次
(lee){2} ##lee字符串出现2次

练习

请显示系统中能被su命令切换的用户名称

二、sed

sed的工作模式是对比每一数据行，若符合样式，就执行特定的操作。
sed的语法：sed’样式命令’文件
意思是如果文件某一行符合’样式’，就执行指定是的sed命令，如删除(d)或取代(s)或显示§。

注意：sed并不会更改原文件内容。sed的工作方式是读取文件内容，经流编辑后，把结果显示到标准输出，如想要存储sed处理结果，要自行运用转向输出将结果存成其它文件。

命令格式：
sed 参数 命令 处理对象
sed 参数 处理对象 -f 处理规则文件

对字符的处理
p ##显示
sed -n 5p westos ##显示第五行
sed -n 3,5p westos ##显示3到5行
sed -ne "3p;5p westos ##显示3和5行
sed -ne 1,5p westos ##1-5行
sed -ne '5,$p' westos ##5到最后一行
sed -n '/^#/p' fstab ##显示以#开头的行
d ##删除
sed 5d westos ##删除第五行
sed '/^#/d' fstab ##把#开头的行删除
sed '/^UUID/!d' fstab ##除了UUID以外的行都删除
sed -e '5,$d' westos
a ##添加
sed -e '$a hello world' fstab
sed -e '$a hello\nworld' fstab
sed -e '/^#/a hello world' fstab
c ##替换
sed -e '/^#/c hello world' fstab
sed '5chello world' westos
w ##把符合的行写到指定文件中
sed '/^UUID/w westofile' westos ##把westos中UUID开头的行写入westosfile中
i ##插入
sed '5ihello westos' westos
r ##整合文件
sed '5r haha' westos

sed 字符替换
sed 's/:/###/g' westos  ##将westos文件中所有：替换成###
sed 's/:/###/' westos  ##将文件westos中每一行第一个：替换成###
sed 's/:/###/g' westos
sed '1,5s/:/###/g' passwd ##把passwd文件里第1至5行中所有的：替换为###
sed '1,5s/:/###/' passwd ##把passwd文件里第1至5行中第一个出现的：替换为###
sed '1s/:/###/g' passwd ##把passwd文件里第1行所有的：替换为###
sed '1s/:/###/' passwd ##把passwd文件里第1行第一个的：替换为###
sed '1s/:/###/g;5s/:/###/g' passwd ##把passwd文件里第1行和第5行所有的：替换为###
sed '/lp/,/shutdown/s/:/###/g' westos ##从lp到shutdown所在的行中：替换为###
sed 's/\//###/g' westos ##将每一行中的所有/替换为###
sed 's@/@###@g' westos  ##将每一行中的所有/替换为###
sed 's@/@####@g' -i westos 把sed处理的内容保存到westos文件中

练习2

练习写脚本
Apache_port.sh
此脚本接入数字
http的端口就改为此数字
假设selinux为关闭状态
例如：
sh Apache_port.sh
ERROR: Pleaase input port number following script !!
sh Apache_port.sh 8080
apache的端口会被修改为8080

vim apache.sh
[ -z '$1' ] && {
  echo error: please input port!
  exit
}
if [ "$1" -gt 0 ] 2> /dev/null
then
  sed "/^Listen/cListen $1" -i /etc/httpd/conf/httpd.conf
  systemctl restart httpd
 else
 {
  echo please input number!
  exit
}
fi

sh apache.sh 8080

或者

三.awk(报告生成器)

awk是一种可以处理数据、产生格式化报表的语言。它的工作方式是读取数据，将每一行数据视为一条记录，每笔记录以字段分隔符分成若干字段，然后输出各个字段的值。

awk对每一条记录，都会套用一个"样式{操作}"，如果该行符合样式，就执行指定的操作。样式或操作之一可以省略。
如果只有样式，表示要显示符合样式的行；如果只有操作，表示对每一行数据都执行该项操作。

awk的常用的作用格式：
awk "样式"   文件：把符合样式的数据行显示出来。
awk '{操作}' 文件：对每一行都执行{}中的操作。
awk '样式{操作}'对符合样式的数据行，执行{}中的操作。

awk -F 分隔符 BEGIN{}{}END{} FILENAME
BEGIN{}: 读入第一行文本之前执行的语句，一般用来初始化操作
{}: 逐行处理
END{}:处理完最后以行文本后执行，一般用来处理输出结果

NR #行数
NF #列数
FILENAME #文件名称本身
westos #westos变量值
“westos” #westos字符串

/bash$/ #条件
/条件1|条件2/ #条件1或者条件2
/条件1/||/条件2/ #条件1或者条件2
/条件1/&&/条件2/ #条件1并且条件2

$0 #所有的列
$1 #第一列
$2 #第二列
$3 #第三列

#/etc/passwd文件的第六列没有home关键字并且以bash结尾的行
awk -F : '$6!~/home/&&/bash$/{print}' /etc/passwd

练习3：

统计在系统中能su切换的并且用户加目录不在/home下的用户数量