2.文本处理工具

1.grep 命令

grep 格式

grep 匹配条件 处理文件

grep命令作用：

grep命令用于查找文件里符合条件的字符串

grep命令的用法：

grep root passwd         #过滤root关键字
grep -i root passwd      #后略大小写
grep -E "\<root" passwd  #root字符之前不能有字符
grep -E "root\>" passwd  #root字符之后不能有字符
grep -数字               #显示过滤行以及上面几行和下面几行
grep -n                  #显示匹配的行所在行号
grep -A                  #显示过滤行以及下面几行
grep -B                  #显示过滤行以及上面几行
grep -v                  #反向过滤

grep字符数量匹配规则

^westos              #以westos开有
westos$              #以westos结尾
w....s               #w开头s结尾中间4个任意字符
.....s               #s结尾前面5个任意字符
*                    #字符出现任意
?                    #0到1次
+                    #1次到任意次
{n}                  #n次
{m,n}                #m到n次 {0,n} ##0-n次
{,n}                 #0-n次
{m,}                 #最少m次
(lee){2}             #lee字符串出现2次

注意：在扩展正则表达式中，则在BRE的基础上增加了“（”、“）”、“{”、“}”、“？”和“+”、“|”等元字符。只有在用反斜杠进行转义的情况下，字符“（”、“）”、“ { ” 、“ }”才会在扩展正则表达式中被当作元字符处理，而在基本正则表达式中，任何元字符前面加上反斜杠反而会使其被当作普通字符来处理。

练习脚本：

请显示系统中能被su命令切换的用户名称

2.sed 命令

命令作用：

sed根据脚本命令来处理文本文件中的数据，这些命令要么从命令行中输入，要么存储在一个文本文件中。此命令执行数据的顺序如下：
1.每次仅读取一行内容
2.根据提供的规则命令匹配并修改数据，注意，sed默认不会直接修改源文件数据，而是会将数据复制到缓冲区中，修改也仅限于缓冲区中的数据。
3.将执行结果输出

命令格式：

sed 参数 命令 处理对象
sed 参数 处理对象 -f 处理规则文件

对字符的处理

（1）p：显示 。 n：不显示模式空间里的内容 。e：执行后面的命令。

 sed -n 5p westos      ##显示第五行
sed -n 3,5p westos     ##显示3到5行
sed -ne "3p;5p" westos  ##显示3和5行
sed -ne 1,5p westos    ##1-5行
sed -ne '5,$p' westos  ##5到最后以行
sed -n '/^#/p' fstab   ##显示以#开头的行

(2) d:删除

sed 5d westos         ##删除第五行
sed '/^#/d' fstab     ##把#开头的行删除
sed '/^UUID/!d' fstab ##除了UUID以外的行都删除
sed -e '5,$d' westos

（3）a ：添加

 sed -e '$a hello world' fstab
sed -e '$a hello\nworld' fstab
sed -e '/^#/a hello world' fstab

（4）c：替换

sed -e '/^#/c hello world' fstab
sed '5chello world' westos

（5）w：把符合的行写到指定文件中

sed '/^UUID/w westofile' westos    ##把westos中UUID开头的行写入westosfile中

（6）i：插入

sed '5ihello westos' westos

（7）r：整合文件

sed '5r haha' westos

（8）s：字符替换 g：对数据中所有匹配到的内容进行替换，如果没有 g，则只会在第一次匹配成功时做替换操作。

 sed 's/:/###/g' westos 
sed 's/:/###/' westos 
sed 's/:/###/g' westos 
sed '1,5s/:/###/g' westos 
sed '1s/:/###/g' westos 
sed '1s/:/###/g;5s/:/###/g' westos 
sed '/lp/,/shutdown/s/:/###/g' westos 
sed 's/\//####/g' westos 
sed 's@/@####@g' westos 
sed 's@/@####@g' -i westos 把sed处理的内容保存到westos文件中

练习及脚本

Apache_port.sh
此脚本接入数字
http的端口就改为此数字
假设selinux为关闭状态
例如：
sh Apache_port.sh
ERROR: Pleaase input port number following script !!
sh Apache_port.sh 8080
apache的端口会被修改为8080

注意：！！！

执行优先级

反向单引号表示：里面的内容优先执行
反向单引号与 $ 通用的级别不一样,$在shell里用，``在python里面也能使用

单引号和双引号：

两者都是解决变量中间有空格的问题。

在bash中“空格”是一种很特殊的字符，比如在bash中这样定义str=this is String，这样就会报错，为了避免出错就得使用单引号’'和双引号""。

单引号’’，双引号""的区别是

单引号’‘剥夺了所有字符的特殊含义，单引号’'内就变成了单纯的字符。

双引号"“则对于双引号”"内的参数替换($)和命令替换(``)是个例外。

比如说 n=3

echo ‘$n’

结果就是$n

改成双引号 echo “$n”，结果就是3

3.awk 命令

awk命令作用：

awk是一个强大的文本分析工具，相对于grep的查找、sed的编辑，awk在数据分析并生成报告时，显得尤为强大。简单来说，awk就是把文件逐行读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk命令的用法：

awk -F 分隔符 BEGIN{}{}END{} FILENAME
NR                     #行数
NF                     #列数
FILENAME               #文件名称本身
westos                 #westos变量值
“westos”               #westos字符串
/bash$/                #条件
/条件1|条件2/           #条件1或者条件2 
/条件1/||/条件2/        #条件1或者条件2 
/条件1/&&/条件2/        #条件1并且条件2
$7~/bash/			   #第七列包含bash
$7!~/bash/			   #第七列不包含bash
awk -F : '$6!~/home/&&/bash$/{print}' /etc/passwd	#/etc/passwd文件的第六列没有home关键字并且以bash结尾的行

$0 #所有的列
$1 #第一列
$2 #第二列
$3 #第三列

课后练习：

统计在系统中能su切换的并且用户加目录不在/home下的用户数量