简介
Linux 操作文本的三大利器分别是 grep、sed 、awk,简称三剑客。
大师兄 awk:最擅长取列;二师兄 sed:最擅长取行;三师兄 grep:最擅长过滤。
正则表达式
![f1e7e3277de81236fdb95c3e22d12271.png](https://i-blog.csdnimg.cn/blog_migrate/158d910984ff4bcd684cc600ce24c5e4.jpeg)
*** 三位师兄闪亮登场啦 ***
大师兄 -- AWK
- awk 是对文本进行格式化的工具,适合处理比较复杂的格式处理。
- 有多个版本: 1、new awk: nawk ;2、gawk, awk
- awk 命令格式:
awk [options] 'script' file1 file2, ...
awk [options] 'PATTERN {acticon}' file1 file2, ...
格式说明:
- pattern部分决定动作语句何时触发及触发事件:BEGIN、END
- action 对数据进行处理,放在{}内指明:print、printf
- 最常用的是 print,默认以空白字符分隔
$0 代表整行,$1 代表第 1 段,$2 代表第 2 段,以此类推,$NF 代表最后一个字段,多个字段直接用逗号隔开
awk '{print $1, $2}' xxx.log
打印操作支持拼接打印,如:awk '{print "first" $1, $2}' xxx.log
4. options 参数:输入分隔符,默认以空白字符分隔,通过 -F 选项来执行分隔符
awk -F '#' '{print $1,$2}' test
![c1ff038bf65b10cfc3bcfd99b7ba427e.png](https://i-blog.csdnimg.cn/blog_migrate/6bf9fd7a291b4d2edd01772bc29ca622.jpeg)
输出分隔符,默认情况下输出分隔符是空格,使用内置变量 OFS 来设定输出分隔符,需要加上 -v 选项
awk -v OFS="-->" '{print $1,$2}' test
![8081105d34c029037c2ac6019852df24.png](https://i-blog.csdnimg.cn/blog_migrate/d26f453343951a63f849d5d86ae7b5f4.jpeg)
5. awk 变量
FS:输入字段分隔符,默认空白字符,一般需要加 -F
OFS:输出字段分隔符,默认是空格,一般需要加 -v
NF:分隔后的字段数量
NR:当前行的行号
6. pattern 模式:模式是条件,符合条件的行, awk 才会进行处理
关系运算模式:awk -F '#' 'NF==5 {print $1}' test
如果行的分段数量为5 的话,进行打印操作,其他的类似,如 NF>2,NF<4,$1==1234 等都是判断条件
![576e3667c0f91ecfc6dbd9ec0a37f73b.png](https://i-blog.csdnimg.cn/blog_migrate/745684f3c288d011bd1831ac084f266f.jpeg)
awk -F '#' 'NF>=4 && NF<=5 {print $1}' test
![d6e9571daeea7ae9e0c4c3cf7245fe81.png](https://i-blog.csdnimg.cn/blog_migrate/fd82a6a794d99343ef613889e7522647.png)
二师兄 -- sed
- sed 是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”,接着用 sed 命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。
- sed 命令格式:
sed [options]... 'script' inputfile
选项
- -n:不输出模式空间内容到屏幕,即不自动打印
- -e:多点编辑
- -f /PATH/SCRIPT_FILE:从指定文件中读取编辑脚本
- -r:支持使用扩展正则表达式
- -i:直接编辑文件
- -i.bak:备份文件并原处编辑
script 地址定界
- 不给地址:对全文进行处理
- 单地址:
#:指定的行; $:最后一行
/pattern/:被此处模式所能够匹配到的每一行
编辑命令
- d 删除模式空间匹配的行,并立即启用下一轮循环
- p 显示符合条件的行,追加到默认输出之后
- a []text1 在指定行后面追加文本,支持使用n实现多行追加
- i []text 在行前面插入文本
- c []text 替换行为单行或多行文本
- w /path/somefile 保存模式匹配的行至指定文件
- r /path/somefile 读取指定文件的文本至模式空间中匹配到的行后
- = 为模式空间中的行打印行号
- ! 模式空间中匹配行取反处理
- s///:查找替换,支持使用其它分隔符,s@@@,s###
替换标记:
- g 行内全局替换
- p 显示替换成功的行
- w /PATH/TO/SOMEFILE 将替换成功的行保存至文件中
实例说明:
sed -n 2p test 打印第 2 行内容
![f3e545197b5558eafd336177f18aff1d.png](https://i-blog.csdnimg.cn/blog_migrate/578495b2e3892759689a3e18ec4ebb05.jpeg)
sed -n 2,5p test 打印第 2--5 行内容
![9b57a40a0b46147877391d72b4343f28.png](https://i-blog.csdnimg.cn/blog_migrate/be600e544074de00f111752726b456ee.png)
sed -i 's/a/v/g' test 将文件中的 a 全部替换为 v 「sed替换格式是:sed -i ‘s/要替换的内容/替换成的内容/g' 文件名」
mac 上执行上述命令会报错 sed: 1: "test": undefined label 'est.txt'
解决方案:增加一个备份的追加名【sed -i '.bak' 's/a/v/g' test】
原因:mac强制要求备份,否则报错
当然可以不使用其他备份名字,只是用'',就可以只保留一份
sed -i '' 's/a/v/g' test
![ed4936aa10269c14052953928e025dae.png](https://i-blog.csdnimg.cn/blog_migrate/5a6031c1359c551e8ff81a4e86d986a5.jpeg)
三师兄 -- grep
- grep 强大的文本搜索工具,根据模式搜索文本,并将符合模式的文本行显示出来。
- gerp 命令格式:
grep 【option】 pattern 【file】
option:
- -i:忽略字符大小写
- -n:显示匹配的行号
- -v:显示没有被匹配的行
- --color:将匹配的字符以高亮颜色标记出来
- -c:统计匹配的行数
- -o:仅显示匹配到的字符串
- -q:静默模式,不输出任何信息
- -e:实现多个选项间的逻辑 or 关系
- -v:反转查找
- -w:匹配整个单词
- -A:after ,显示后行
- -B:before ,显示前行
- -C:context,显示前后行
- -E:相当于 egrep,即 grep -E = egrep
实例说明:
grep -i 'b' test 在文件 test 中查找字符 b
![626e7b596a4ce2bbcf530892c5f3b6f6.png](https://i-blog.csdnimg.cn/blog_migrate/321599fdca747af41f020a64f94316e9.jpeg)
grep -q 'abc' test 静默执行。不会输出任何信息,如果命令运行成功返回0,失败则返回非0值。一般用于条件测试
![6b4843e88708315d65f8a0ec7afc54f6.png](https://i-blog.csdnimg.cn/blog_migrate/0b002cdd9604ace8c617907048543465.png)
grep -n 'v' test 查找包含字符 v 的行数
![d12271ea7d230c6aa33d4660b9e48ad9.png](https://i-blog.csdnimg.cn/blog_migrate/5c355485105995a8b545b4136b73cdf1.jpeg)
grep -nv 'v' test 查找不包含字符 v 的行数
![ffa544a26846a9f5c0860e8d3d1acf32.png](https://i-blog.csdnimg.cn/blog_migrate/131e812d1fcef21b25d952dfb88827d3.png)
grep -n v$ test 查找以 v 结尾的行
![447af34f43209255852e94a0587ad537.png](https://i-blog.csdnimg.cn/blog_migrate/47325069a133d50866225770ff49190f.jpeg)
grep -v 'v' test 反向查找
![49dfbf7ac0295f831c6d36ca1f674a74.png](https://i-blog.csdnimg.cn/blog_migrate/8bfd6e4dc6eb7029920c99fbd6d71cc4.png)
grep 'ljl' -A 2 test 输出匹配结果行的后 2 行
![907f34eb415a95b29eaf791493163daa.png](https://i-blog.csdnimg.cn/blog_migrate/02004edf66e09c3eb7fbb85f522d3ee0.png)
grep 'wooow' -B 2 test 输出匹配结果行的前 2 行
![dcbc9f7737ac3658abba32bd519d264b.png](https://i-blog.csdnimg.cn/blog_migrate/5da6fba211207209660f6082809fabdf.png)
grep 'wooow' -C 2 test 输出匹配结果行的前后 2 行
![bc20f5764abfbece60ab14ba504ad7fb.png](https://i-blog.csdnimg.cn/blog_migrate/2d16c9cbb9e76658b58f9b024d968a16.png)
grep -n 'abc' test1 test2 test3 或 grep -n 'abc' test* 多个文件查找匹配的结果行
(#^.^#)---我是有底线的---(#^.^#)