本文详细介绍了Linux系统中用于文本处理的三个重要命令——grep、sed和awk。grep用于在文件中搜索特定字符串，支持正则表达式；sed则是一个流编辑器，可以实现文本替换、删除等功能；awk则是一个功能强大的文本分析工具，能处理模式匹配并执行相应操作。这些命令是Linux系统管理和自动化中的必备技能。
1.什么是Linux三剑客
- Linux三剑客分别是grep，sed，awk。
- grep：是一种Unix/Linux命令，它可以在文本文件中搜索指定的字符串，并显示匹配的行。它可以使用正则表达式来搜索文本，并可以搜索多个文件。
- sed：一种Unix/Linux命令，它可以用来编辑文本文件，替换字符串，删除行，插入行，排序行等。它可以使用正则表达式来搜索文本，并可以操作多个文件。
- awk：是一种强大的文本处理语言，它可以用来搜索，替换和操作文本文件中的文本。它可以用来提取文本中的模式，并执行相应的操作，例如搜索，替换，排序，计算。
2.grep命令
-
参数 说明 -b 在输出的每一行显示包含匹配字符串的行在文件中的字节偏移量 -c（count） 仅显示找到的行数 -i（ignore） 显示找到的行，比较时不区分大小写 -h 在查找多个文件时，指示grep不要将文件名加入到输出之前 -l 显示首次匹配串所在的文件名并用换行符将其隔开。 -n（line-number） 显示找到的行，显示行号（文件首行行号为1） -o（only-matching） 只显示匹配的内容 -A 如果匹配成功，则将匹配行及其后n行一起打印出来 -B 如果匹配成功，则将匹配行及其前n行一起打印出来 -C 如果匹配成功，则将匹配行及其前后n行一起打印出来 -E 等于egrep，扩展 --color 高亮颜色显示匹配到的字符串 -v（invert，反向） 显示没有匹配字符串的行 -x（line-regexp） 只显示整行严格匹配的行 grep 'text file' Readme.txt # 在文件Readme.txt中搜索字符串'text file'
grep 'text file' * # 在所有文件中搜索字符串'text file'
grep 'text file' *.java # 在所有的.java文件中搜索字符串'text file'-
使用特殊符号进行字符串的匹配
匹配模式 说明 grep h 文件名 查找文件里有字符h的行 grep ^q 文件名 显示匹配以q开始的行 grep ^[ ^q ] 文件名 显示不匹配以q开头的行 grep ^[0-9] 文件名 显示匹配以数字开头的行 grep q$ 文件名 显示匹配以q结束的行 grep ^$ 显示空白行 grep -r h ./* 如果要明确搜索当前目录中的子目录有h的行 grep -d skip h ./* 忽略当前目录下的子目录下的普通文件 grep ^SELINUX /etc/selinux/config # 查找以SELINUX开头的行数据
grep ^$ passwd # 显示要一个文件中空行
grep ^[^$] passwd # 显示要一个文件中空行
3.sed命令
-
语法：
sed OPTIONS… [SCRIPT] [INPUTFILE…]
-
参数：
常用的选项 说明 -n，--quiet，--silent 只打印匹配的行 -i 直接编辑原文件，而不是由屏幕输出，默认不对原文件进行操作； -e 直接在命令行模式上进行sed的动作编辑，不会对原文件修改 -r 使用扩展正则表达式 -f 直接将sed的动作写在一个文件内，-f filename则可以执行filename内的sed动作 [root@quruixiang ~]# sed -n '3p' /etc/passwd
-
地址定界：（查询）
# 1）#：#为数字，指定要进行处理操作的行；1，表示第一行； [root@quruixiang ~]# sed -n '3,4p' /etc/passwd # 2）$：表示最后一行，多个文件进行操作的时候，为最后一个文件的最后一行； [root@quruixiang shellstudy]# sed -n '$p' test8.sh # 3）/regexp/：表示能够被regexp匹配到的行； [root@quruixiang ~]# sed -n "/test/p" /etc/passwd ## regexp即基于正则表达式的匹配； # 4）/regexp/I：匹配时忽略大小写； [root@quruixiang shellstudy]# sed -n "/test/Ip" /etc/passwd # 5）\%regexp%: 任何能够被regexp匹配到的行，换用%（用其他字符也可以，如：#）为边界符号； [root@quruixiang shellstudy]# sed -n "\%echo%p" test8.sh # 6）addr1,addr2：指定范围内的所有的行（范围选定）； [root@quruixiang ~]# sed -n "3,6p" /etc/passwd daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync # 常用地址定界表示方式： ## a）0，/regexp/：从起始行开始到第一次能够被regexp匹配到的行。 [root@quruixiang shellstudy]# sed -n "0,/bin/p" test8.sh ## b）/regexp/,/regexp/：被模式匹配到的行内的所有的行。 ## 7）first~step：指定起始的位置及步长，例如：1~2表示1,3,5… [root@quruixiang shellstudy]# sed -n "1~3p" test8.sh #!/bin/bash #Version:v1.0 #Description: func() echo 1 fi echo $result ## 8）addr1,+N：指定行以及以后的N行； [root@quruixiang ~]# sed -n "3,+4p" /etc/passwd daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown ### addr1,~N：addr1开始的行，N结束的行 [root@quruixiang ~]# sed -n "3,~4p" /etc/passwd daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin -
注意事项:
-
如果没有指定地址，表示命令将应用于每一行
-
如果只有一个地址，表示命令将应用于这个地址匹配的所有行
-
如果指定了由逗号分隔的两个地址，表示命令应用于匹配第一个地址和第二地址之间的行(包括这两行)
-
如果地址后面跟有感叹号，表示命令将应用于不匹配该地址的所有行
-
-
常用编辑命令：（编辑）
# 1）d：删除匹配到的行 [root@quruixiang shellstudy]# sed '3d' test8.sh [root@quruixiang shellstudy]# sed '/echo/d' test8.sh [root@quruixiang shellstudy]# sed '/^$/d' test8.sh # 删除空行 # 2）p：打印当前模式空间内容 [root@quruixiang shellstudy]# sed '/echo/p' test8.sh # 3）a \text：append,表示在匹配到的行之后追加内容 [root@quruixiang shellstudy]# sed '$a\system' test8.sh [root@quruixiang shellstudy]# sed '3a\systemctl' test8.sh [root@quruixiang shellstudy]# sed '/echo/a\systemctl' test8.sh # 4）i \text：insert,表示在匹配到的行之前追加内容 [root@quruixiang shellstudy]# sed '3i\sys' test8.sh [root@quruixiang shellstudy]# sed '/echo/i\sys' test8.sh # 5）c \text：change,表示把匹配到的行和给定的文本进行交换 [root@quruixiang shellstudy]# sed '/echo/c\system' test8.sh # 6）s/regexp/replacement/flages：查找替换,替换regexp匹配到的内容（其中/可以用其他字符代替， sed -i '/^SELINUX=/ s/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config [root@quruixiang shellstudy]# sed 's/fun/##/1' test8.sh # 替换每行中第一个匹配的fun替换为## ## 例如@） ## 其他编辑命令： ## 常用的flages： ## g：全局替换，默认只替换第一 [root@quruixiang shellstudy]# sed 's/echo/system/g' test8.sh [root@quruixiang shellstudy]# sed 's/^/##/g' test8.sh # 文件中的每一行开头加一个## [root@quruixiang shell]# sed -i 's/^#[[:space:]]*//g' test.txt # 删除开头#和至少一个空字符的行 ## i： 不区分大小写 ## p：如果成功替换则打印 [root@quruixiang shellstudy]# sed 's/echo/system/p' test8.sh # 7）r 读入文件内容追加到匹配行后面 [root@quruixiang shellstudy]# sed 'r 2.txt' 1.txt # 在1.txt中的每一行后都写入2.txt的内容 [root@quruixiang shellstudy]# sed '3r 2.txt' 1.txt # 在1.txt中的第3行后写入2.txt的内容 [root@quruixiang shellstudy]# sed '/245/r 2.txt' 1.txt # 在1.txt中的匹配行后写入2.txt的内容 # 8）R 读入文件一行内容追加到匹配行后面 # 9）y ：y/source/dest/ 固定长度替换，要求替换的字符串长度相等 # 10）w /path/to/somefile：将匹配到的文件内容追加到指定的文件末尾 [root@quruixiang shell]# sed -n 'w test.txt' passwd # 在test.txt的末尾0后写入passwd的内容
4.awk命令
-
通过命令行执行awk程序，语法如下：
awk 'program-text' [要处理的文本文件] 例：awk '{print $0}' /etc/passwd
849
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
