Linux三剑客（grep,awk,sed）

        在学习之前，我们要思考一个问题：Linux三剑客有哪些？（其实题目已经给出了答案）

引言：        

        Linux三剑客可以提高文本处理能力，系统管理能力和脚本编辑能力，对于Linux系统的使用和管理都有着重要的作用。

        首先我们知道：在Linux下一切皆为文件，所以在Linux下的操作就是对文件的操作，为了更方便对文件操作，需要用到“三剑客”命令。

学习Linux三剑客（grep,sed,awk）有以下作用：

    1，文本处理能力：grep：常用于在文件中搜索指定的字符串，查找。

                                   sed：常用于对文本进行替换和编辑，修改。

                                   awk：常用于对文本进行分析和处理，分段，处理文本数据。

掌握这三个工具可以提高文本处理的效率和精确度。

        2，系统管理能力：Linux三剑客在系统管理中有着广泛的应用，可以用于日志分析，数据提取，批量处理等任务，提高系统管理效率

        3，脚本编程功能：grep，sed，awk可以通过脚本编程的方式进行批量处理和自动化操作，可以白那些复杂的文本处理程序和数据分析程序

        4，提高工作效率：掌握Linux三剑客可以提高工作效率，特别是对于需要处理大量文本数据的工作，可以节省大量的时间和精力

详细介绍：

一，grep：文本搜索工具，用于过滤、搜索特定的字符。

解释：可以帮助用户快速定位包含特定内容的文件或者行。

常用的grep参数：                           

•         -i：忽略大小写                         
•         -r：递归搜索子目录                  
•         -n：显示匹配行的行号                 
•         -v：显示不包含匹配文本的行   
•         -c：显示匹配的行数                 

下面将会以Linux中的/etc/passwd文件为例！  

可在Linux中使用cat  /etc/passwd查看中的内容，可以看到非常多！

举例1：使用参数 - i ：参数忽略大小写。比如筛选出关于root的内容，不区分大小写

[root@localhost ~]# grep -i "ROOT" /etc/passwd    //他会忽略查找内容的大小写
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

举例2：使用参数 - n ：显示匹配行的行号。比如查找关于root的内容并显示内容行号

[root@localhost ~]# grep -n "root" /etc/passwd
1:root:x:0:0:root:/root:/bin/bash
10:operator:x:11:0:operator:/root:/sbin/nologin

举例3：配合其他一系列命令使用，比如配合管道符筛选出/etc/passwd中带root关键词的内容

• 当然这个时候grep也能配合参数使用，比如显示行号

[root@localhost ~]# cat /etc/passwd | grep -n "root"
1:root:x:0:0:root:/root:/bin/bash
10:operator:x:11:0:operator:/root:/sbin/nologin

举例4：使用参数 - v：显示不包含匹配文本的行 

回顾："^word"：表示以word开头

            "word$"：表示与word结尾

             "^$"：表示空行

在阅读Linux文件的时候发现了某些问题，比如以#开头，空行的内容影响阅读，可以筛选

[root@localhost ~]# grep -v "^#" /etc/yum.conf | grep -nv "^$"    //参数-v配合-n使用
1:[main]
2:cachedir=/var/cache/yum/$basearch/$releasever
3:keepcache=0
4:debuglevel=2
5:logfile=/var/log/yum.log
6:exactarch=1
7:obsoletes=1
8:gpgcheck=1
9:plugins=1
10:installonly_limit=5
11:bugtracker_url=http://bugs.centos.org/set_project.php?project_id=23&ref=http://bugs.centos.org/bug_report_page.php?category=yum
12:distroverpkg=centos-release

举例5：匹配以root和hzx开头的行，并显示对应的行号

[root@localhost ~]# cat /etc/passwd | grep -n "^\(root\|hzx\)"
1:root:x:0:0:root:/root:/bin/bash
44:hzx:x:1000:1000:hzx:/home/hzx:/bin/bash

解释：在正则表达式中,\( 和 \) 用来表示分组，\| 用来表示逻辑或。

举例6：多文件匹配。多文件匹配时，第一位会告诉你属于什么文件，也能配合参数使用

[root@localhost ~]# grep -n  "root" /etc/passwd /etc/group
/etc/passwd:1:root:x:0:0:root:/root:/bin/bash
/etc/passwd:10:operator:x:11:0:operator:/root:/sbin/nologin
/etc/group:1:root:x:0:

二，sed：常用于 编辑和替换

        sed是一种用来处理文本的工具，它一次处理一行内容。它会把当前处理的行存储在一个临时的缓冲区中，然后对这个缓冲区中的内容进行处理，处理完成后把结果输出到屏幕上。接着再处理下一行，直到文件结束。使用sed不会改变原始文件的内容，除非你使用重定向来保存输出。

在Linux中，sed命令最常用的参数包括：                                                           

•          -e：允许对输入的文本进行多个编辑操作。                                       
•          -s：替换指定字符                                                                               
•          -d：删除操作                                                                                      
•          -i：直接修改文件内容，而不是仅仅输出到屏幕。                             
•          -n：禁止默认的输出，只输出经过sed处理的内容。                         
•           g：表示行内全面替换
•           p：表示打印行                                                                       

替换操作：s命令

举例1：替换文本中的字符串。

[root@localhost ~]# sed 's/old/new/' file         

解释：匹配file文件中每一行的第一个“old”替换为“new”

举例2：加上 - i 选项，将直接修改文件内容，而不是仅仅输出到屏幕。

[root@localhost ~]# sed -i 's/old/new/' file         

解释：-i直接编辑文件，匹配file文件中每一行的第一个“old”替换为“new”

举例3：使用 - e 参数：允许对输入的文本进行多个编辑操作。

[root@localhost ~]# sed -e 's/old/new/' -e 's/book/books/' file

解释：-e允许对输入的文本进行多个编辑操作，操作的文档为file
#匹配每一行的第一个“old”替换为“new”，再匹配每一行的第一个“book”替换为“books”

全面替换：标记 /g

[root@localhost ~]# sed -i 's/old/new/g' file         

解释：-i直接编辑文件，s为替换，/g会替换每一行中所有的匹配
#将file文件中每一行所有“old”替换为“new”

举例4：使用 - n 参数，禁止默认的输出，只输出经过sed处理的内容。

打印行：p标记

[root@localhost ~]# sed -n '1p' /etc/passwd
root:x:0:0:root:/root:/bin/bash

解释：打印出文件/etc/passwd第1行内容

• 当然，也能够连续打印多行

[root@localhost ~]# sed -n '1,5p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin


解释：打印出文件/etc/passwd中1-5行的内容

删除操作：d命令

举例5：删除空白行

[root@localhost ~]# sed '/^$/d' /etc/named.conf

解释：我们拿DNS的主配置文件为例，删除/etc/named.conf文件中的空白行

举例6：删除文件的第2行文件

[root@localhost ~]# sed '2d' /etc/named.conf

举例7：删除文件的第2行到末尾的所有行

[root@localhost ~]# sed '2,$d' /etc/named.conf

举例8：删除文件最后一行

[root@localhost ~]# sed '$d' /etc/named.conf

举例8：删除文件中所有开头是test的行

[root@localhost ~]# sed '/^test/d' /etc/named.conf

三，awk：报告生成器，格式化文本

        当处理文本文件时，awk是一个非常强大的工具。它可以用于搜索文件、提取信息、进行格式化输出以及执行计算等操作。

以下是一些基本的使用方法和示例：

举例1： 提取特定字段
   如果你有一个包含多个字段的文本文件，你可以使用awk来提取其中的某些字段。

        假设有一个包含学生信息的文件，每行包括学生的姓名、年龄和成绩，你可以使用awk来提取其中的某些字段：

[root@localhost ~]# awk '{print $1, $3}' students.txt

解释：这个命令将打印出每行中的第一个和第三个字段（即姓名和成绩）。

举例2： 进行计算
   你可以使用awk来对文本文件中的数据进行计算。

假设你有一个包含数字的文件，你可以使用awk来计算它们的总和

[root@localhost ~]# awk '{sum += $1} END {print "Total: ", sum}' numbers.txt

解释：这个命令将计算文件中所有数字的总和，并打印出结果。

举例3： 过滤数据
   你可以使用awk来过滤文本文件中的数据，只输出符合条件的行或字段。

比如，你可以只输出成绩大于80分的学生信息

[root@localhost ~]#  awk '$3 > 80 {print $1, $3}' students.txt
 
解释：这个命令将只输出成绩大于80分的学生的姓名和成绩。