正则表达式:Regular Expression

本文详细介绍了vi/sed/awk/grep等Linux工具如何使用正则表达式进行字符串搜索、替换和处理,涵盖特殊符号、字符集匹配、行首/尾定位等高级技巧。通过实例演示了grep的选项和参数,以及sed和awk的基本操作和功能应用。
摘要由CSDN通过智能技术生成

vi/sed/awk/grep等工具皆使用正则表达式的语法规则。

正则表达式就是处理字符串的方法。

特殊符号

代表意义

[:alnum:]

代表英文大小写字符及数字,亦即 0-9, A-Z, a-z

[:alpha:]

代表任何英文大小写字符,亦即 A-Z, a-z

[:blank:]

代表空格键与 [Tab] 按键两者

[:cntrl:]

代表键盘上面的控制按键,亦即包括 CR, LF, Tab, Del.. 等等

[:digit:]

代表数字而已,亦即 0-9

[:graph:]

除了空格符 (空格键与 [Tab] 按键) 外的其他所有按键

[:lower:]

代表小写字符,亦即 a-z

[:print:]

代表任何可以被打印出来的字符

[:punct:]

代表标点符号 (punctuation symbol),亦即:" ' ? ! ; : # $...

[:upper:]

代表大写字符,亦即 A-Z

[:space:]

任何会产生空白的字符,包括空格键, [Tab], CR 等等

[:xdigit:]

代表 16 进位的数字类型,因此包括: 0-9, A-F, a-f 的数字与字符

Linux三剑客 grep/awk/sed

grep

grep [-acinv] [--color=auto] '搜寻字符串' filename

选项与参数:

-a :将 binary 档案以 text 档案的方式搜寻数据

-c :计算找到 '搜寻字符串' 的次数

-i :忽略大小写的不同,所以大小写视为相同

-n :顺便输出行号

-v :反向选择,亦即显示出没有 '搜寻字符串' 内容的那一行!

-s :不输出错误信息。

-r :嵌套搜索子目录。

-I :不搜索二进制文件,等于binary-files=without-match

转义字符”\” :表示字符为纯字符,不表示特殊含义。

中括号 [] :搜寻字母数字符号等字符集合。

反向选择 [^] :取反义。

行首字符 ‘^’ :只有字符、字符串在行首列出现才为真。

grep -n '^the' regular_express.txt --- the在句首

grep -n '^[a-z]' regular_express.txt --- 小写字母在句首

grep -n '^[[:lower:]]' regular_express.txt --- 小写字母在句首

grep -n '^[^a-zA-Z]' regular_express.txt --- 句首不是字母

行尾字符 ‘&’ :只有字符、字符串在句尾才为真。

grep -n '\.$' regular_express.txt ---  .在行尾,这里”\”为转义字符。

grep -n '^$' regular_express.txt --- 只有行首跟行尾空白行。

任意一个字符 . :表示绝对有一个任意字符

grep -n 'g..d' regular_express.txt --- 搜寻g??d字符串。

重复字符* : 代表重复前一个字符0~无穷多次。

grep -n 'g*g' regular_express.txt --- 搜寻 包含一个g到n个g的字符串。红色部分表示0~无穷个g。

grep -n 'g.*g' regular_express.txt --- 搜寻g开头g结尾的字符串,但不能为gg。

限定连续重复字符的范围{} (\{ \}): 指定多少个重复字符的范围。

grep -n 'go\{2,5\}g' regular_express.txt --- 搜寻g+重复2~5次o+g

grep -n 'go\{2,\}g' regular_express.txt ---搜寻g+重复2~无穷大次o+g

总结上述语法如下:

RE 字符

意义与范例

^word

意义:待搜寻的字符串(word)在行首!
范例:搜寻行首为 # 开始的那一行,并列出行号

grep -n '^#' regular_express.txt

word$

意义:待搜寻的字符串(word)在行尾!
范例:将行尾为 ! 的那一行打印出来,并列出行号

grep -n '!$' regular_express.txt

.

意义:代表『一定有一个任意字符』的字符!
范例:搜寻的字符串可以是 (eve) (eae) (eee) (e e), 但不能仅有 (ee) !亦即 e 与 e 中间『一定』仅有一个字符,而空格符也是字符!

grep -n 'e.e' regular_express.txt

\

意义:透过 shell 的跳脱字符,将特殊符号的特殊意义去除!
范例:搜寻含有单引号 ' 的那一行!

grep -n \' regular_express.txt

*

意义:重复零个到无穷多个的前一个 RE 字符
范例:找出含有 (es) (ess) (esss) 等等的字符串,注意,因为 * 可以是 0 个,所以 es 也是符合带搜寻字符串。另外,因为 * 为重复『前一个 RE 字符』的符号, 因此,在 * 之前必须要紧接着一个 RE 字符喔!例如任意字符则为 『.*』 !

grep -n 'ess*' regular_express.txt

[list]

意义:字符集合的 RE 字符,里面列出想要撷取的字符!
范例:搜寻含有 (gl) 或 (gd) 的那一行,需要特别留意的是,在 [] 当中『谨代表一个待搜寻的字符』, 例如『 a[afl]y 』代表搜寻的字符串可以是 aay, afy, aly 即 [afl] 代表 a 或 f 或 l 的意思!

grep -n 'g[ld]' regular_express.txt

[n1-n2]

意义:字符集合的 RE 字符,里面列出想要撷取的字符范围!
范例:搜寻含有任意数字的那一行!需特别留意,在字符集合 [] 中的减号 - 是有特殊意义的,他代表两个字符之间的所有连续字符!但这个连续与否与 ASCII 编码有关,因此,你的编码需要设定正确(在 bash 当中,需要确定 LANG 与 LANGUAGE 的变量是否正确!) 例如所有大写字符则为 [A-Z]

grep -n '[A-Z]' regular_express.txt

[^list]

意义:字符集合的 RE 字符,里面列出不要的字符串或范围!
范例:搜寻的字符串可以是 (oog) (ood) 但不能是 (oot) ,那个 ^ 在 [] 内时,代表的意义是『反向选择』的意思。 例如,我不要大写字符,则为 [^A-Z]。但是,需要特别注意的是,如果以 grep -n [^A-Z] regular_express.txt 来搜寻,却发现该档案内的所有行都被列出,为什么?因为这个 [^A-Z] 是『非大写字符』的意思, 因为每一行均有非大写字符,例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小写字

grep -n 'oo[^t]' regular_express.txt

\{n,m\}

意义:连续 n 到 m 个的『前一个 RE 字符』
意义:若为 \{n\} 则是连续 n 个的前一个 RE 字符,
意义:若是 \{n,\} 则是连续 n 个以上的前一个 RE 字符! 范例:在 g 与 g 之间有 2 个到 3 个的 o 存在的字符串,亦即 (goog)(gooog)

grep -n 'go\{2,3\}g' regular_express.txt

sed

sed [-nefr] [动作]

选项与参数:

-n  :使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到屏幕上。

      但如果加上 -n 参数后,则只有经过 sed 特殊处理的那一行(或者动作)才会被列出来。

-e  :直接在指令列模式上进行 sed 的动作编辑;

-f  :直接将 sed 的动作写在一个档案内, -f filename 则可以执行 filename 内的 sed 动作;

-r  :sed 的动作支持的是延伸型正规表示法的语法。(预设是基础正规表示法语法)

-i  :直接修改读取的档案内容,而不是由屏幕输出。

动作说明:  [n1[,n2]]function

n1, n2 :不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作

         是需要在 10 到 20 行之间进行的,则『 10,20[动作行为]

function 有底下这些咚咚:

a   :新增, a 的后面可以接字符串,而这些字符串会在新的一行出现(目前的下一行)

c   :取代, c 的后面可以接字符串,这些字符串可以取代 n1,n2 之间的行!

d   :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;

i   :插入, i 的后面可以接字符串,而这些字符串会在新的一行出现(目前的上一行)

p   :打印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运作~

s   :取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配正规表示法!

      例如 1,20s/old/new/g 就是啦!

以行为单位的新增/删除功能(仅显示,不修改原文件):

nl /etc/passwd | sed '2,5d' --- 删除 2~5行

nl /etc/passwd | sed '2a drink tea' --- 在第二行末尾新增drink tea

nl /etc/passwd | sed '2i drink tea' --- 在第二行开头新增drink tea

以行为单位的取代与显示功能(仅显示,不修改原文件):

nl /etc/passwd | sed '2,5c No 2-5 number' --- 将2~5行替换为No 2-5 number

nl /etc/passwd | sed -n '5,7p' --- 仅显示第5~7行

部分数据的搜寻并取代的功能

sed 's/要被取代的字符串/新的字符串/g'

/sbin/ifconfig eth0 | grep 'inet ' | sed 's/^.*inet //g' --- 替换句首为n个任意字符+inet为空。

/sbin/ifconfig eth0 | grep 'inet ' | sed 's/^.*inet //g'  | sed 's/ *Bcast.*$//g' | sed 's/^addr://g' ---1. 替换句首为n个任意字符+inet为空。

2. 替换句尾为 空格(n个)Bcast+任意字符为空。

3. 替换句首为addr:为空。

直接修改档案内容(危险动作)

sed 的『 -i 』选项可以直接修改档案内容。

awk

awk 也是一个非常棒的数据处理工具!相较于 sed 常常作用于一整个行的处理, awk 则比较倾向于一行当中分成数个『字段』来处理。因此,awk 相当的适合处理小型的数据数据处理呢!awk 通常运作的模式是这样的:

awk '條件類型1{動作1} 條件類型2{動作2} ...' filename

變數名稱

代表意義

NF

每一行 ($0) 擁有的欄位總數

NR

目前 awk 所處理的是『第幾行』資料

FS

目前的分隔字元,預設是空白鍵

awk命令语法:

awk pattern { ACTION }

在awk读取文件的过程中中,变量$0保存整行的内容,变量$1保存第1个域的内容,$2保存第二个域的内容,…。

变量NF保存行包含的域的数量,因此变量$NF保存最后一个域的内容,$NF-1保存倒数第二个域的内容,…。

变量NR保存行的序号。

awk支持很多语句,待补完。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值