linux正则表达式、sed、awk命令使用总结

最新推荐文章于 2024-08-13 14:43:58 发布

wx_start_ag

最新推荐文章于 2024-08-13 14:43:58 发布

阅读量2.6k

点赞数 1

文章标签： Linux Shell 正则表达式 sed awk

本文链接：https://blog.csdn.net/wx_start_ag/article/details/79566952

版权

一、正则表达式

linux的正则主要分为基础正则和拓展正则，基础的正则如下：

1.正则匹配时会最大化匹配结果

正则表达式由于其贪婪匹配的逻辑，会将结果进行最大化匹配，经常书写出的正则会超出我们的需要，所以书写时我们要用定界符到，如/etc/passwd文件中的第一列为用户名，用冒号分隔，后面都跟x，如果我们简单的以:作为分隔符，正则或最大化匹配结果，匹配到最后一个x，但我们可以如果用:x:来做定界符，就能精确定位到我们想要的结果

2.转义字符的使用

正则中，只要不是想要搜索的符号，就必须加\转义字符将其转换为原本的意思，如上表中的 ma(tri)?,[0-9]{3}等正则例子，实际书写时都要加转义字符，写为“ma$tir$\?”和'[0-9]\{3\}',而同样，如果想搜索的符号中有* ?之内的正则表达符号，也要加转义字符才能代表原本的符号含义.

3.[]的注意事项

[a-zA-Z]代表包含大小写的所有单个字母，不能写成[a-Z];

[a-z_-]代表匹配字母或下划线或横杠，不能写成[a-z-_]

4.写正则时需要不断试错

即便写出了匹配的正则表达式，用定界符进行精准匹配后，正则中仍然会出现结果不符合要求的情况，需要对表达式不断修改，不断试错，才能得到想要的结果

二、grep 命令

所有参数：

常见用法：

1. -b -o 统计字符串的偏移量（即一行中相对行首的位置差）

echo gun is not unix | grep -b -o "not"
7:not

#一行中字符串的字符偏移是从该行的第一个字符开始计算，起始值为0。选项 -b -o 一般总是配合使用。

2.-l和-L 在多文件查找时，仅输出符合条件/不符合条件的文件的文件名，不输出内容

3.-f 和字符串匹配，正则式匹配不同，将单独的文件作为匹配样式，每一个匹配的样式为一行

#在样式文件中逐行写出需要匹配的字符。
cat patfile
aaa
bbb

echo aaa bbb ccc ddd eee | grep -f patfile -o

4.-A -B -C 除了输出匹配内容外，还输出匹配内容上/下/上下行的内容，可以指定几行

#如果匹配结果有多个，会用“--”作为各匹配结果之间的分隔符：
echo -e "a\nb\nc\na\nd\nc" | grep a -A 1
a
b
--
a
d

5. -q 静默输出，不会输出任何信息，如果命令运行成功返回0，失败则返回非0值。一般用于条件测试。

6.--include 排除目标文件

1）--include *{.c,.cpp} 仅仅在文件夹中搜索.c和.cpp文件；

2）--exclude "README" 排除全部README文件

3) --include-dir 仅在某些文件夹中搜索

4) --exclude-dir 排除某些文件夹

5) --exclude-from FILE 从文件FILE中读取须要排除的文件列表

#只在目录中所有的.php和.html文件中递归搜索字符"main()"
grep "main()" . -r --include *.{php,html}

#在搜索结果中排除所有README文件
grep "main()" . -r --exclude "README"

#在搜索结果中排除filelist文件列表里的文件
grep "main()" . -r --exclude-from filelist

三、cut:字段简单剪切命令

该命令有两项功能，其一是用来显示文件的内容，它依次读取由参数file所指明的文件，将它们的内容输出到标准输出上；其二是连接两个或多个文件，如cut fl f2 > f3将把文件fl和几的内容合并起来，然后通过输出重定向符“>”的作用，将它们放入文件f3中。

1.格式

cut(options)(参数)

2.全部参数

3.常见用法

#学生报表信息，包含No、Name、Mark、Percent：
[root@localhost text]# cat test.txt 
No Name Mark Percent
01 tom 69 91
02 jack 71 87
03 alex 68 98
#使用 -f 选项提取指定字段：
[root@localhost text]# cut -f 1 test.txt 
No
01
02
03
[root@localhost text]# cut -f2,3 test.txt 
Name Mark
tom 69
jack 71
alex 68
#--complement 选项提取指定字段之外的列（打印除了第二列之外的列）：

[root@localhost text]# cut -f2 --complement test.txt 
No Mark Percent
01 69 91
02 71 87
03 68 98
#使用 -d 选项指定字段分隔符：

[root@localhost text]# cat test2.txt 
No;Name;Mark;Percent
01;tom;69;91
02;jack;71;87
03;alex;68;98
[root@localhost text]# cut -f2 -d";" test2.txt 
Name
tom
jack
alex

注意：cut的分隔符，默认为制表符，可以-d指定其他分隔符，但是不能指定空格（-d " "）！，即如果文本内容以空格分隔，cut会认为文本只有一列

四、sed：功能强大的流式文本编辑器

格式：

sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)

重要参数：

-n ：即--slient和 -quiet 静默输出只打印脚本或command处理过行

-e ：直接在命令行模式上进行sed动作编辑，此为默认选项

-f ：将sed的动作写在一个文件内，用–f filename 执行filename内的sed动作

-r ：支持扩展正则表达式

-i ：直接修改文件内容，不输出到屏幕

sed command:

注意：

sed命令中，字符串或正则的两边需要加上双斜杠// 如添加动作：‘/正则式/i’
sed '2,4d' 将2-4行内容删除，而不是删除第2行和第4行
sed 's/book/BOOKS/g' file g是全局参数，不加只替换第一个

&的用法已匹配字符串标记

echo this is a test line | sed 's/\w\+/[&]/g'
[this] [is] [a] [test] [line]

\1的用法，子串匹配标记

echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/'
this is 7 in a number

r/w 从文件读入，或写入到文件（前者不改变文件内容，后者改变）

#将匹配内容显示在匹配行下
sed '/test/r file' filename
#在example中所有包含test的行都被写入file里：
sed -n '/test/w file' example

q 中途退出命令

#打印完第10行后，退出sed
sed '10q' file

五、awk：文本和数据进行处理的编程语言

（awk命令比较复杂，涉及到编程思想和逻辑判断，仅总结目前知识水平范围内的内容）

1.awk的模式（patten）和操作(command)

模式可以是以下任意一个：

/正则表达式/：使用通配符的扩展集。
关系表达式：使用运算符进行操作，可以是字符串或数字的比较测试。
模式匹配表达式：用运算符~（匹配）和~!（不匹配）。
BEGIN语句块、pattern语句块、END语句块(即拓展commend，一般在BEGIN中赋值，申明等，END中进行操作，运算等,BEGIN和END不参与逻辑循环)

操作由一个或多个命令、函数、表达式组成，之间由换行符或分号隔开，并位于大括号内，主要部分是：

变量或数组赋值
输出
内置函数
控制流语句

2. 内置参数（变量）

$0,$1,$2 列数，从0开始（默认空格和制表符为分隔符，-F或fs==指定分隔符）
awk '{printf $1}' //打印第一个字母
NR,NF 行号和字段数
FILENAME 文件名
完整的内置参数如下：

3.逻辑处理

作为一种程序设计语言所应具有的特点之一，awk支持多种运算，这些运算与C语言提供的基本相同。awk还提供了一系列内置的运算函数（如log、sqr、cos、sin等）和一些用于对字符串进行操作（运算）的函数（如length、substr等等）。

运算符	描述	举例

+ -	加，减	awk 'BEGIN{a="b";print a++,++a;}' 输出：0 2 （注意：所有用作算术运算符进行操作，操作数自动转为数值，所有非数值都变为0）
* / &	乘除求余
++ --	增加和减少（作为前缀和后缀）
> >= != ==	关系运算符（注意：> < 可以作为字符串比较，也可以用作数值比较，关键看操作数如果是字符串就会转换为字符串比较。两个都为数字才转为数值比较。字符串比较：按照ASCII码顺序比较。）	awk 'BEGIN{a=11;if(a >= 9){print "ok";}}' 输出：ok
= += -= *= ...	赋值语句	a+=5; 等价于：a=a+5; 其它同类
\|\| &&	逻辑或，逻辑与	awk 'BEGIN{a=1;b=2;print (a>5 && b<=2),(a>5 \|\| b<=2);}' 输出：0 1
~ ~！	正则表达式的匹配和不匹配	awk 'BEGIN{a="100testa";if(a ~ /^100*/){print "ok";}}' 输出：ok
?:	C条件表达式	awk 'BEGIN{a="b";print a=="b"?"ok":"err";}' 输出：ok
in	数组中是否存在键值	awk 'BEGIN{a="b";arr[0]="b";arr["b"]="c";print (a in arr);}' 输出：1

4.拓展格式

拓展格式如下：

awk [options]'BEGIN{print"START"}pattern{commands}END{print "END"}'

一般在BEGIN中赋值，申明等，END中进行操作，运算等,BEGIN和END不参与逻辑循环

awk -F ':' 'BEGIN{print "Line  Col  User"}{print NR"    ",NF"   ",$1}END{print"--------"FILENAME"------------"}'  /etc/passwd  |more
#显示每行的行号，列数（用：作为分隔符）并在表头和结束打印相关内容