shell中的文本处理工具

文本处理三剑客

一、grep

1.grep格式

grep 文本搜索（Globally search a Regular Expression and Print）

准备实验素材：
cp /etc/passwd .
vim passwd
vim passwd

grep
grep -E = egrep
##grep 格式##
grep 匹配条件 处理文件
grep root passwd #过滤root关键字
grep -i root passwd ##后略大小写
grep -E "\<root" passwd ##root字符之前不能有字符
grep -E "root\>" passwd ##root字符之后不能有字符
grep -数字 ##显示过滤行以及上面几行和下面几行
grep -n ##显示匹配的行所在行号
grep -A ##显示过滤行以及下面几行
grep -B ##显示过滤行以及上面几行
grep -v ##反向过滤

1. grep -E 以及 egrep
   
   2.精确搜索某一字符
   grep -E “<root” passwd ##root字符之前不能有字符
   grep -E “root>” passwd ##root字符之后不能有字符

  当前grep是一种强大的文本搜索工具。我们可以通过grep命令指定特定搜索条件来搜索文件及其内容以获取有用的信息。grep是全局搜索正则表达式并打印出匹配的行，其抓取数据是贪婪模式，即不会漏掉过滤内容，但准确性会相对降低。


3.关于显示行数的用法

2.grep字符数量匹配规则

正则表达式                           含义
^westos                          以westos关键字开头
westos$                          以westos结尾
w…s                              w开头s结尾中间含有3个任意字符
…s                               s结尾前面有3个任意字符
*                                字符出现次数任意（即0次到任意次）
?                                字符出现0到1次
+                                字符出现1次到任意次
{n}                              字符出现n次
{m,n}                            字符出现m到n次
{,n}                             字符出现0到n次
{m,}                             字符最少出现m次
(lee){2} ##lee字符串出现2次

创建实验素材

3.测试

测试：请显示系统中能被su命令切换的用户名称：
 
首先我们回顾用户的类型
 
1.linux系统中用户分为三类：
第一类：root（超级管理员），UID为0，这个用户有极大的权限，可以直接无视很多的限制，包括读写执行的权限。
第二类：系统用户，UID为1～499。一般是不会被登入的。
第三类就是普通用户，UID范围一般是500～65534。这类用户的权限会受到基本权限的限制，也会受到来自管理员的限制。
 
2.su 是最简单的用户切换命令，通过该命令可以实现任何身份的切换，包括从普通用户切换为 root 用户、从 root 用户切换为普通用户以及普通用户之间的切换。
 
3.涉及到用户，就离不开用户身份信息文件 即：/etc/passwd ，从该文件中可以看出 普通用户及超级用户都有一个特点 那就是以bash或sh结尾。
 
综上，我们可以得出结果：

二、sed

sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取

**注意：**sed 默认不会直接修改源文件数据，而是会将数据复制到缓冲区（模式空间）中，修改也仅限于缓冲区中的数据。
也就是说 真是文件在硬盘里面，sed修改的是内存里的。

命令格式：
sed 参数 命令 处理对象
sed 参数 处理对象 -f 处理规则文件
对字符的处理
p ##显示
sed -n 5p westos ##显示第五行
sed -n 3,5p westos ##显示3到5行
sed -ne "3p;5p westos ##显示3和5行
sed -ne 1,5p westos ##1-5行
sed -ne '5,$p' westos ##5到最后以行
sed -n '/^#/p' fstab ##显示以#开头的行

1. -n的含义

首先，-n的意思是

默认情况下，sed将在每个周期结束时通过脚本打印出模式空间。这个选项禁用这种自动打印，sed只有在通过p命令明确告知时才会产生输出。

2.sed之-p的用法

p就是显示。
-f是指定策略文件
sed根据提供的规则命令匹配并修改数据

准备实验素材：

使用：

3.sed之-d的用法

d ##删除
sed 5d westos ##删除第五行
sed '/^#/d' fstab ##把#开头的行删除
sed '/^UUID/!d' fstab ##除了UUID以外的行都删除
sed -e '5,$d' westos

4.sed之-a的用法

a  ##添加
sed '$a hello world' fstab      ## 在最后一行后面加上hello westos
sed '$a hello\nworld' fstab     ## 在最后一行后面加上hello westos （输出格式为分行输出 如下图所示）
sed '/^#/a hello world' fstab   ## 所有以#开头的行 后面加上hello westos

5.sed之-i的用法

i ##插入
sed '5ihello westos' westos

6.sed之-c的用法

c  ##替换
sed -e '/^#/c hello world' fstab
sed '5chello world' westos

7.sed用法之-w的用法

w ##把符合的行写到指定文件中
sed '/^UUID/w westofile' westos ##把westos中UUID开头的行写入westosfile中

8.sed之-r的用法

r ##整合文件
sed '5r haha' westos

现在 我们用sed命令对其做出操作：

练习及脚本:Apache_port.sh
此脚本接入数字,http的端口就改为此数字,假设selinux为关闭状态
例如：
sh Apache_port.sh
ERROR: Pleaase input port number following script !!
sh Apache_port.sh 8080
apache的端口会被修改为8080
 
一共分三步：
1.检测脚本命令后是否跟数字
2.检测httpd是否安装
3.检测端口是否被占用
 

sed 字符替换
sed 's/:/###/g' westos 
sed 's/:/###/' westos 
sed 's/:/###/g' westos 
sed '1,5s/:/###/g' westos 
sed '1s/:/###/g' westos 
sed '1s/:/###/g;5s/:/###/g' westos 
sed '/lp/,/shutdown/s/:/###/g' westos 
sed 's/\//####/g' westos 
sed 's@/@####@g' westos 
sed 's@/@####@g' -i westos 把sed处理的内容保存到westos文件中

三、awk

awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息
awk处理过程: 依次对每一行进行处理，然后输出

awk -F 分隔符 BEGIN{}{}END{} FILENAME

NR        #行数
NF        #列数
FILENAME  #文件名称本身
westos    #westos变量值
“westos”  #westos字符串

/bash$/   #条件
/条件1|条件2/    #条件1或者条件2 
/条件1/||/条件2/ #条件1或者条件2 
/条件1/&&/条件2/ #条件1并且条件2

$0    #所有的列
$1    #第一列
$2    #第二列
$3    #第三列