Linux三剑客之grep、sed、awk 个人简介

Linux一切皆文件，为了更好的与各类文件打交道，我们有必要学习三剑客的文件击剑术。 

剑客一grep擅长查找、匹配文本。

 剑客二sed擅长编辑匹配到的文本，取行、替换。

剑客三awk擅长处理格式化文本、取列。

 一、grep

Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。

1. 基本语法：

grep [option] pattern file

#option 是下面的参数选项
#pattern 是规则表达式也就是匹配的条件，可以是正则表达式
#file 是要进行操作的文件

#参数：

-a   --text   #不要忽略二进制的数据。

-A<显示行数>  --after-context=<显示行数>  #除显示符合范本样式的那一列之外并显示该行之后的内容。

-b   --byte-offset   #在显示符合样式的那一行之前，标示出该行第一个字符的编号。

-B<显示行数>   --before-context=<显示行数>  #除了显示符合样式的那一行之外，并显示该行之前的容。

-c    --count   #计算符合样式的列数。

-C<显示行数>  --context=<显示行数>或-<显示行数>  #除显示符合样式的那一行还显示该行之前后内容。

-d <动作>   --directories=<动作>   #当查找的是目录时必须使用这项参数否则将回报信息并停止动作。

-e<范本样式>  --regexp=<范本样式>   #指定字符串做为查找文件内容的样式。

-E      --extended-regexp   #将样式为延伸的普通表示法来使用。

-f<规则文件>  --file=<规则文件>   #指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规 
                                  则条件的文件内容，格式为每行一个规则样式。

-F   --fixed-regexp   #将样式视为固定字符串的列表。

-G   --basic-regexp   #将样式视为普通的表示法来使用。

-h   --no-filename   #在显示符合样式的那一行之前，不标示该行所属的文件名称。

-H   --with-filename   #在显示符合样式的那一行之前，表示该行所属的文件名称。

-i    --ignore-case   #忽略字符大小写的差别。

-l    --file-with-matches   #列出文件内容符合指定的样式的文件名称。

-L   --files-without-match   #列出文件内容不符合指定的样式的文件名称。

-n   --line-number   #在显示符合样式的那一行之前，标示出该行的列数编号。

-q   --quiet或--silent   #不显示任何信息。

-r   --recursive   #此参数的效果和指定“-d recurse”参数相同。

-s   --no-messages   #不显示错误信息。

-v   --revert-match   #显示不包含匹配文本的所有行。

-V   --version   #显示版本信息。

-w   --word-regexp   #只显示全字符合的列。

-x    --line-regexp   #只显示全列符合的列。

-y   #此参数的效果和指定“-i”参数相同。

2. 正则表达式：

^  #锚定行的开始 如：'^grep'匹配所有以grep开头的行。

$  #锚定行的结束 如：'grep$'匹配所有以grep结尾的行。

.  #匹配一个非换行符的字符 如：'gr.p'匹配gr后接一个任意字符，然后是p。

*  #匹配零个或多个先前字符 如：'*grep'匹配所有一个或多个空格后紧跟grep的行。

.*   #一起用代表任意字符。

[]   #匹配一个指定范围内的字符，如'[Gg]rep'匹配Grep和grep。

[^]  #匹配一个不在指定范围内的字符，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头，紧跟rep 
                                    的行。

\(..\)  #标记匹配字符，如'\(love\)'，love被标记为1。

\<      #锚定单词的开始，如:'\<grep'匹配包含以grep开头的单词的行。

\>      #锚定单词的结束，如'grep\>'匹配包含以grep结尾的单词的行。

x\{m\}  #重复字符x，m次，如：'0\{5\}'匹配包含5个o的行。

x\{m,\}  #重复字符x,至少m次，如：'o\{5,\}'匹配至少有5个o的行。

x\{m,n\}  #重复字符x，至少m次，不多于n次，如：'o\{5,10\}'匹配5--10个o的行。

\w    #匹配文字和数字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G后跟零个或多个文字或数字字符，然后是p。

\W    #\w的反置形式，匹配一个或多个非单词字符，如点号句号等。

\b    #单词锁定符，如: '\bgrep\b'只匹配grep。

3. 简单示例： 

查找指定的进程：

查找包含 " h" 的内容并显示其后两行内容：

在" passwd "文件中查找以" root " 开头 和以" bash " 结束的数据信息：

输出test.txt文件中含有从test2.txt文件中读取出的关键词的内容行，可用于按指定关键词（放到一个文件中）搜索日志文件:

 

二、sed

sed是个非交互性文本流编辑器。它编辑文件或者标准输入导入的文件拷贝，标准输入可能是来自键盘、文件重定向、字符串或者变量，或者是一个管道文件。sed 可以对文件进行增加、删除、替换、抽取域等操作。sed在处理文本时是逐行读取文件内容，读到匹配的行就根据指令做操作，不匹配就跳过。

 1. 基本语法：

sed [option] 'command' inputfile > outputfile
 
选项参数：
 
-n ：只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e ：直接在命令列模式上进行 sed 的动作编辑；可以一次修改多个规则，中间用 分号 隔开
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；
-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是输出到终端。
 
命令 command ：
 
a ：新增， 指定行后面；
c ：修改， 表示修改文件指定行的内容；
d ：删除；
i ：插入， 指定行前面；
p ：打印，通常 p 会与参数 sed -n 使用；
s ：查找替换；

简单示例：

测试文件数据信息：

使用sed命令向文件第三行插入一个新数据 " new data "，并保存到文件new.txt中：

• 其中" 3i\ " 表示在定位第三行附加新的信息 " new data"。
• " test.txt "表示要操作的文件名。
• " new.txt" 表示操作完成后另存为的文件名。

 

三、awk

 awk是linux中的一个报告生成器，它拥有强大的文本格式化的能力，或者说是一种专门处理字符串的语言，它有自己的编码格式。

1. 基本语法： 

• [-F 域分隔符] 是可选的，如果分隔符是空格可以不用写，awk默认的分隔符就是空格。
• Commands 指定操作命令，一般使用print 进行输出打印。
• Input-file 是要操作的文件的名字，也不是任意文件都可以用awk来处理，awk能处理的文件一般 具有特定的格式。

2. 基本概念： 

1. 在awk中，将一行信息称作一个”记录”，将一个列称作一个”域”。
2. 从左边开始,每一个域分别用$1 ,$2,$.-.$n来标识。
3. $0表示显示整行，$NF表示当前行分割后的最后一-列 ($0和$NF均为内置 变量)。

3. 简单示例： 

测试文件数据信息：

将文本内容按 " . "作为域分隔符分隔，并将分隔后第一列的数据存入新文件new.txt中：

• 在该示例awk命令中，使用 “-F.” 告诉awk文件中各部分数据是用" . "分隔的。
• 命令’{print $1}’中的$1指的是第一个列(经过按 “.” 分隔后的列)， 也就是打印每行的第一个列。
• ”>b.txt” 是指将打 印的内容重定向存在b.txt文件中，该文件没有就会自动创建。

4. 条件操作符：

• 在awk中也可以指定操作的条件,例如在/etc/passwd文件中每一行是一个用户的信息
• 其中第3个域是用户id,第7个域是用户默认使用的shell。
• 现在我们只打印管理员用户使用的默认shell。
• 由于管理员的id为0,是固定的。那么可以加判断条件“$3==0”来判断是否为管理员用户。

/etc/passwd中的信息：

 执行命令后：

本文只是简单介绍三剑客的基础内容，三剑客更精湛的击剑术还需要进一步探索。