1.什么是Linux三剑客
- Linux三剑客分别是grep,sed,awk。
- grep:是一种Unix/Linux命令,它可以在文本文件中搜索指定的字符串,并显示匹配的行。它可以使用正则表达式来搜索文本,并可以搜索多个文件。
- sed:一种Unix/Linux命令,它可以用来编辑文本文件,替换字符串,删除行,插入行,排序行等。它可以使用正则表达式来搜索文本,并可以操作多个文件。
- awk:是一种强大的文本处理语言,它可以用来搜索,替换和操作文本文件中的文本。它可以用来提取文本中的模式,并执行相应的操作,例如搜索,替换,排序,计算。
2.grep命令
-
参数 说明 -b 在输出的每一行显示包含匹配字符串的行在文件中的字节偏移量 -c(count) 仅显示找到的行数 -i(ignore) 显示找到的行,比较时不区分大小写 -h 在查找多个文件时,指示grep不要将文件名加入到输出之前 -l 显示首次匹配串所在的文件名并用换行符将其隔开。 -n(line-number) 显示找到的行,显示行号(文件首行行号为1) -o(only-matching) 只显示匹配的内容 -A 如果匹配成功,则将匹配行及其后n行一起打印出来 -B 如果匹配成功,则将匹配行及其前n行一起打印出来 -C 如果匹配成功,则将匹配行及其前后n行一起打印出来 -E 等于egrep,扩展 --color 高亮颜色显示匹配到的字符串 -v(invert,反向) 显示没有匹配字符串的行 -x(line-regexp) 只显示整行严格匹配的行 grep 'text file' Readme.txt # 在文件Readme.txt中搜索字符串'text file'
grep 'text file' * # 在所有文件中搜索字符串'text file'
grep 'text file' *.java # 在所有的.java文件中搜索字符串'text file'-
使用特殊符号进行字符串的匹配
匹配模式 说明 grep h 文件名 查找文件里有字符h的行 grep ^q 文件名 显示匹配以q开始的行 grep ^[ ^q ] 文件名 显示不匹配以q开头的行 grep ^[0-9] 文件名 显示匹配以数字开头的行 grep q$ 文件名 显示匹配以q结束的行 grep ^$ 显示空白行 grep -r h ./* 如果要明确搜索当前目录中的子目录有h的行 grep -d skip h ./* 忽略当前目录下的子目录下的普通文件 grep ^SELINUX /etc/selinux/config # 查找以SELINUX开头的行数据
grep ^$ passwd # 显示要一个文件中空行
grep ^[^$] passwd # 显示要一个文件中空行
3.sed命令
-
语法:
sed OPTIONS… [SCRIPT] [INPUTFILE…]
-
参数:
常用的选项 说明 -n,--quiet,--silent 只打印匹配的行 -i 直接编辑原文件,而不是由屏幕输出,默认不对原文件进行操作; -e 直接在命令行模式上进行sed的动作编辑,不会对原文件修改 -r 使用扩展正则表达式 -f 直接将sed的动作写在一个文件内,-f filename则可以执行filename内的sed动作 [root@quruixiang ~]# sed -n '3p' /etc/passwd
-
地址定界:(查询)
# 1)#:#为数字,指定要进行处理操作的行;1,表示第一行; [root@quruixiang ~]# sed -n '3,4p' /etc/passwd # 2)$:表示最后一行,多个文件进行操作的时候,为最后一个文件的最后一行; [root@quruixiang shellstudy]# sed -n '$p' test8.sh # 3)/regexp/:表示能够被regexp匹配到的行; [root@quruixiang ~]# sed -n "/test/p" /etc/passwd ## regexp即基于正则表达式的匹配; # 4)/regexp/I:匹配时忽略大小写; [root@quruixiang shellstudy]# sed -n "/test/Ip" /etc/passwd # 5)\%regexp%: 任何能够被regexp匹配到的行,换用%(用其他字符也可以,如:#)为边界符号; [root@quruixiang shellstudy]# sed -n "\%echo%p" test8.sh # 6)addr1,addr2:指定范围内的所有的行(范围选定); [root@quruixiang ~]# sed -n "3,6p" /etc/passwd daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync # 常用地址定界表示方式: ## a)0,/regexp/:从起始行开始到第一次能够被regexp匹配到的行。 [root@quruixiang shellstudy]# sed -n "0,/bin/p" test8.sh ## b)/regexp/,/regexp/:被模式匹配到的行内的所有的行。 ## 7)first~step:指定起始的位置及步长,例如:1~2表示1,3,5… [root@quruixiang shellstudy]# sed -n "1~3p" test8.sh #!/bin/bash #Version:v1.0 #Description: func() echo 1 fi echo $result ## 8)addr1,+N:指定行以及以后的N行; [root@quruixiang ~]# sed -n "3,+4p" /etc/passwd daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown ### addr1,~N:addr1开始的行,N结束的行 [root@quruixiang ~]# sed -n "3,~4p" /etc/passwd daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin
-
注意事项:
-
如果没有指定地址,表示命令将应用于每一行
-
如果只有一个地址,表示命令将应用于这个地址匹配的所有行
-
如果指定了由逗号分隔的两个地址,表示命令应用于匹配第一个地址和第二地址之间的行(包括这两行)
-
如果地址后面跟有感叹号,表示命令将应用于不匹配该地址的所有行
-
-
常用编辑命令:(编辑)
# 1)d:删除匹配到的行 [root@quruixiang shellstudy]# sed '3d' test8.sh [root@quruixiang shellstudy]# sed '/echo/d' test8.sh [root@quruixiang shellstudy]# sed '/^$/d' test8.sh # 删除空行 # 2)p:打印当前模式空间内容 [root@quruixiang shellstudy]# sed '/echo/p' test8.sh # 3)a \text:append,表示在匹配到的行之后追加内容 [root@quruixiang shellstudy]# sed '$a\system' test8.sh [root@quruixiang shellstudy]# sed '3a\systemctl' test8.sh [root@quruixiang shellstudy]# sed '/echo/a\systemctl' test8.sh # 4)i \text:insert,表示在匹配到的行之前追加内容 [root@quruixiang shellstudy]# sed '3i\sys' test8.sh [root@quruixiang shellstudy]# sed '/echo/i\sys' test8.sh # 5)c \text:change,表示把匹配到的行和给定的文本进行交换 [root@quruixiang shellstudy]# sed '/echo/c\system' test8.sh # 6)s/regexp/replacement/flages:查找替换,替换regexp匹配到的内容(其中/可以用其他字符代替, sed -i '/^SELINUX=/ s/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config [root@quruixiang shellstudy]# sed 's/fun/##/1' test8.sh # 替换每行中第一个匹配的fun替换为## ## 例如@) ## 其他编辑命令: ## 常用的flages: ## g:全局替换,默认只替换第一 [root@quruixiang shellstudy]# sed 's/echo/system/g' test8.sh [root@quruixiang shellstudy]# sed 's/^/##/g' test8.sh # 文件中的每一行开头加一个## [root@quruixiang shell]# sed -i 's/^#[[:space:]]*//g' test.txt # 删除开头#和至少一个空字符的行 ## i: 不区分大小写 ## p:如果成功替换则打印 [root@quruixiang shellstudy]# sed 's/echo/system/p' test8.sh # 7)r 读入文件内容追加到匹配行后面 [root@quruixiang shellstudy]# sed 'r 2.txt' 1.txt # 在1.txt中的每一行后都写入2.txt的内容 [root@quruixiang shellstudy]# sed '3r 2.txt' 1.txt # 在1.txt中的第3行后写入2.txt的内容 [root@quruixiang shellstudy]# sed '/245/r 2.txt' 1.txt # 在1.txt中的匹配行后写入2.txt的内容 # 8)R 读入文件一行内容追加到匹配行后面 # 9)y :y/source/dest/ 固定长度替换,要求替换的字符串长度相等 # 10)w /path/to/somefile:将匹配到的文件内容追加到指定的文件末尾 [root@quruixiang shell]# sed -n 'w test.txt' passwd # 在test.txt的末尾0后写入passwd的内容
4.awk命令
-
通过命令行执行awk程序,语法如下:
awk 'program-text' [要处理的文本文件] 例:awk '{print $0}' /etc/passwd