此文涉及命令:grep、sed、awk、printf、diff、cmp、patch。
概念:
- 什么是正则表示法
- 简单的说,正则表示法就是处理字符串的方法,他是以行为单位来进行字符串的处理行为, 正则表示法透过一些特殊符号的辅助,可以让使用者轻易的达到『搜寻/删除/取代』某特定字符串的处理程序!正则表示法基本上是一种『表示法』, 只要工具程序支持这种表示法,那么该工具程序就可以用来作为正则表示法的字符串处理引用。 例如 vi, grep, awk ,sed 等等工具,因为她们有支持正则表示法,所以,这些工具就可以使用正则表示法的特殊字符来进行字符串的处理。但例如 cp, ls 等指令并未支持正则表示法, 所以就只能使用 bash 自己本身的通配符而已。
- 语系对正则表示法的影响
- 由于不同语系的编码数据并不相同,所以就会造成数据摘取结果的差异了,使用『 export LANG=C 』的设定值
- sed工具------------可以将数据进行取代、删除、新增、摘取特定行等等的功能,本身也是一个管线命令
- sed 后面如果要接超过两个以上的动作时,每个动作前面得加 -e 才行
- 匹配最长的,最左边的
- awk------数据处理工具
- awk处理流程:
- 读入第一行,并将第一行的资料填入 $0, $1, $2.... 等变数当中;
- 依据 "条件类型" 的限制,判断是否需要进行后面的 "动作";
- 做完所有的动作与条件类型;
- 若还有后续的『行』的数据,则重复上面 1~3 的步骤,直到所有的数据都读完为止。
- 在 awk 当中,变量可以直接使用,不需加上 $ 符号。
- wk 的指令间隔:所有 awk 的动作,亦即在 {} 内的动作,如果有需要多个指令辅助时,可利用分号『;』间隔, 或者直接以 [Enter] 按键来隔开每个指令!
- BEGIN可以使第一行设置的分隔符就生效!
- 例:cat /etc/passwd | awk 'BEGIN {FS=":"} $3 < 10 {print $1 "\t " $3}'
- awk 的动作内 {} 也是支持 if (条件) 的.
- 例:cat pay.txt |awk '{if(NR==1) printf"%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total"}
- NR>=2{total = $2 + $3 + $4printf "%10s %10d %10d %10d %10.2f\n", $1, $2, $3, $4, total}'
- 例:cat pay.txt |awk '{if(NR==1) printf"%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total"}
- awk处理流程:
- 档案对比工具--------428
- diff----- 主要是以『行』为单位比对
- cmp-----则是以『字节』为单位去比对
命令:
- grep---------
- grep [-A] [-B] [--color=auto] '搜寻字符串' filename
- -a :将 binary 档案以 text 档案的方式搜寻数据
- -c :计算找到 '搜寻字符串' 的次数
- -i :忽略大小写的不同,所以大小写视为相同
- -n :顺便输出行号
- -v :反向选择,亦即显示出没有 '搜寻字符串' 内容的那一行
- -A :后面可加数字,为 after 的意思,除了列出该行外,后续的 n 行也列出来;
- -B :后面可加数字,为 befer 的意思,除了列出该行外,前面的 n 行也列出来;
- --color=auto 可将正确的那个摘取数据列出颜色
- 例:
- 在关键词所在行的前两行与后三行也一起捉出来显示
- [root@www ~]# dmesg | grep -n -A3 -B2 --color=auto 'eth'
- grep [-A] [-B] [--color=auto] '搜寻字符串' filename
- sed----------管线命令---------417
- sed [-nefr] [动作]----------------------sed 后面接的动作,请务必以 '' 两个单引号括住喔!
- -n :使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN 的数据一般都会被列出到屏幕上。 但如果加上 -n 参数后,则只有经过 sed 特殊处理的那一行(或者动作)才会被列出来。
- -e :直接在指令列模式上进行 sed 的动作编辑;
- -f :直接将 sed 的动作写在一个档案内, -f filename 则可以执行 filename 内的 sed 动作;
- -r :sed 的动作支持的是延伸型正则表示法的语法。(预设是基础正则表示法语法)
- -i :直接修改读取的档案内容,而不是由屏幕输出。
- 动作说明: [n1[,n2]]function
- n1, n2 :不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作 是 需要在 10 到 20 行之间进行的,则『 10,20[动作行为] 』
- function 有底下这些咚咚:
- a :新增, a 的后面可以接字符串,而这些字符串会在新的一行出现(目前的下一行
- c :取代, c 的后面可以接字符串,这些字符串可以取代 n1,n2 之间的行!
- d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
- i :插入, i 的后面可以接字符串,而这些字符串会在新的一行出现(目前的上一行)
- p :打印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运作~
- s :取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配 正则表示法!例如 1,20s/old/new/g 就是啦!
- /used/!s/new/used/g 将没有used的每一行里所有的new替换成used,!后面不要放置任何空白符!
- sed [-nefr] [动作]----------------------sed 后面接的动作,请务必以 '' 两个单引号括住喔!
- printf------------格式化打印---------------------------------------423
- printf '打印格式' 实际内容
- 关于格式方面的几个特殊样式:
- \a 警告声音输出
- \b 退格键(backspace)
- \f 清除屏幕 (form feed)
- \n 输出新的一行
- \r 亦即 Enter 按键
- \t 水平的 [tab] 按键
- \v 垂直的 [tab] 按键
- \xNN NN 为两位数的数字,可以转换数字成为字符。
- 关于 C 程序语言内,常见的变数格式
- %ns 那个 n 是数字, s 代表 string ,亦即多少个字符;
- %ni 那个 n 是数字, i 代表 integer ,亦即多少整数字数;
- %N.nf 那个 n 与 N 都是数字, f 代表 floating (浮点),
- 如果有小数字数, 假设我共要十个位数,但小数点有两位,即为 %10.2f 啰!
- 关于格式方面的几个特殊样式:
- printf '打印格式' 实际内容
- awk-----------------适合处理小型的数据-------------424
- awk '条件类型1{动作1} 条件类型2{动作2} ...' filename
- 例:
- [root@www ~]# last -n 1 <==仅取出前一行
- 结果:root pts/1 192.168.1.100 Tue Feb 10 11:21 still logged in
- last -n 5 | awk '{print $1 "\t" $3}'
- 结果:root 192.168.1.100
- $0 代表『一整列资料』的意思
- 例:
- awk变量名称与意义
- NF 每一行 ($0) 拥有的字段总数
- NR 目前 awk 所处理的是『第几行』数据
- FS 目前的分隔字符,默认是空格键
- OFS 输出字段分割符
- 例:需求: 列出每一行的账号(就是 $1);列出目前处理的行数(就是 awk 内的 NR 变量),并且说明,该行有多少字段(就是 awk 内的 NF 变量)
- 命令:last -n 2| awk '{print $1 "\t lines: " NR "\t columes: " NF}'
- 结果:root lines: 1 columes: 10
- root lines: 2 columes: 10
- 例:需求: 列出每一行的账号(就是 $1);列出目前处理的行数(就是 awk 内的 NR 变量),并且说明,该行有多少字段(就是 awk 内的 NF 变量)
- awk的逻辑运算符
- 运算单元 代表意义
- > 大于
- < 小于
- >= 大于或等于
- <= 小于或等于
- == 等于
- != 不等于
- awk '条件类型1{动作1} 条件类型2{动作2} ...' filename
- diff----------一般是用在 ASCII 纯文本档的比对上。分辨两个版本之间的差异
- diff 主要是以『行』为单位比对
- diff [-bBi] from-file to-file
- from-file :一个档名,作为原始比对档案的档名;
- to-file :一个档名,作为目的比对档案的档名;
- -b :忽略一行当中,仅有多个空白的差异(例如 "about me" 与 "about me" 视为相同
- -B :忽略空白行的差异。
- -i :忽略大小写的不同。
- 例: 利用diff制作差异档
- diff -Naur passwd.old passwd.new > passwd.patch
- cmp-------------比较两个文档,可以比对binary file
- cmp 则是以『字节』为单位去比对
- cmp [-s] file1 file2
- -s :将所有的不同点的字节处都列出来。因为 cmp 预设仅会输出第一个发现的不同点。
- patch-----------『将旧的档案升级成为新的档案』
- 『先比较先旧版本的差异,并将差异档制作成为补丁档,再由补丁档更新旧档案』
- patch -pN < patch_file <==更新
- patch -R -pN < patch_file <==还原
- -p :后面可以接『取消几层目录』的意思。
- -R :代表还原,将新的文件还原成原来旧的版本。
正则表达式特殊符号的意义:
基本正则表达式 | |
特殊符号 | 代表意义 |
[:alnum:] | 代表英文大小写字符及数字,亦即 0-9, A-Z, a-z【重要】 |
[:alpha:] | 代表任何英文大小写字符,亦即 A-Z, a-z【重要】 |
[:blank:] | 代表空格键与 [Tab] 按键两者 |
[:cntrl:] | 代表键盘上面的控制按键,亦即包括 CR, LF, Tab, Del.. 等等 |
[:digit:] | 代表数字而已,亦即 0-9 【重要】 |
[:graph:] | 除了空格符 (空格键与 [Tab] 按键) 外的其他所有按键 |
[:lower:] | 代表小写字符,亦即 a-z 【重要】 |
[:print:] | 代表任何可以被打印出来的字符 |
[:punct:] | 代表标点符号 (punctuation symbol),亦即:" ' ? ! ; : # $... |
[:upper:] | 代表大写字符,亦即 A-Z 【重要】 |
[:space:] | 任何会产生空白的字符,包括空格键, [Tab], CR 等等 |
[:xdigit:] | 代表 16 进位的数字类型,因此包括: 0-9, A-F, a-f 的数字与字符 |
基础正则表示法字符汇整 (characters) | |
RE 字符 | 意义与范例 |
^word | 意义:待搜寻的字符串(word)在行首! 范例:搜寻行首为 # 开始的那一行,并列出行号 grep -n '^#' regular_express.txt |
word$ | 意义:待搜寻的字符串(word)在行尾! 范例:将行尾为 ! 的那一行打印出来,并列出行号 grep -n '!$' regular_express.txt |
. | 意义:代表『一定有一个任意字符』的字符! 范例:搜寻的字符串可以是 (eve) (eae) (eee) (e e),但不能仅有 (ee) !亦即 e 与 e 中间『一定』仅有一个字符,而空格符也是字符! grep -n 'e.e' regular_express.txt |
\ | 意义:跳脱字符,将特殊符号的特殊意义去除! 范例:搜寻含有单引号 ' 的那一行! grep -n \' regular_express.txt |
* | 意义:重复零个到无穷多个的前一个 RE 字符 范例:找出含有 (es) (ess) (esss) 等等的字符串,注意,因为 * 可以是 0 个,所以 es 也是符合带搜寻字符串。另外,因为 * 为重复『前一个 RE 字符』的符号, 因此,在 * 之前必须要紧接着一个 RE 字符喔!例如任意字符则为 『.*』 ! grep -n 'ess*' regular_express.txt |
[list] | 意义:字符集合的 RE 字符,里面列出想要摘取的字符! 范例:搜寻含有 (gl) 或 (gd) 的那一行,需要特别留意的是, 在 [] 当中『仅代表一个待搜寻的字符』, 例如『 a[afl]y 』代表搜寻的字符串可以是 aay, afy, aly即 [afl] 代表 a 或 f 或 l 的意思! grep -n 'g[ld]' regular_express.txt |
[n1-n2] | 意义:字符集合的 RE 字符,里面列出想要摘取的字符范围! 范例:搜寻含有任意数字的那一行!需特别留意,在字符集合 [] 中的减号 - 是有特殊意义的,他代表两个字符之间的所有连续字符!但这个连续与否与 ASCII 编码有关,因此,你的编码需要讴定正确(在 bash 当中,需要确定 LANG 与 LANGUAGE 的发量是否正确!) 例如所有大写字符则为 [A-Z] grep -n '[0-9]' regular_express.txt |
[^list] | 意义:字符集合的 RE 字符,里面列出不要的字符串或范围! 范例:搜寻的字符串可以是 (oog) (ood) 但不能是 (oot) ,那个 ^ 在 [] 内时,代表的意义是『反向选择』的意思。例如,我不要大写字符,则为 [^A-Z]。但是,需要特别注意的是,如果以 grep -n [^A-Z] regular_express.txt来搜寻,即发现该档案内的所有行都被列出,为什么?因为这个 [^A-Z] 是『非大写字符』的意思, 因为每一行均有非大写字符,例如第一行的 "Open Source" 就有p,e,n,o.... 等等的小写字 grep -n 'oo[^t]' regular_express.txt |
\{n,m\} | 意义:连续 n 到 m 个的『前一个 RE 字符』 意义:若为 \{n\} 则是连续 n 个的前一个 RE 字符, 意义:若是 \{n,\} 则是连续 n 个以上的前一个 RE 字符! 范例:在 g 与 g 之间有 2 个到 3 个的 o 存在的字符串,亦即 (goog)(gooog) grep -n 'go\{2,3\}g' regular_express.txt |
延伸型正则表示法 | |
RE 字符 | 意义与范例 |
+ | 意义:重复『一个或一个以上』的前一个 RE 字符 范例:搜寻 (god) (good) (goood)... 等等的字符串。 那个o+ 代表『一个以上的 o 』所以,底下的执行成果会将o+ 代表『一个以上的 o 』所以,底下的执行成果会将 egrep -n 'go+d' regular_express.txt |
? | 意义:『零个或一个』的前一个 RE 字符 范例:搜寻 (gd)(god) 这两个字符串。 那个 o? 代表『空的或 1 个 o 』所以,上面的执行成果会将第 13, 14 行列出来。 有没有发现到,这两个案例( 'go+d' 与 'go?d' )的结果集合与'go*d' 相同? 想想看,这是为什么喔! ^_^ egrep -n 'go?d' regular_express.txt |
| | 意义:用或( or )的方式找出数个字符串 范例:搜寻 gd 或good 这两个字符串,注意,是『或』! 所以,第 1,9,14 这三行都可以被打印出来喔!那如果还想要找出 dog 呢? egrep -n 'gd|good' regular_express.txt egrep -n 'gd|good|dog' regular_express.txt |
() | 意义:找出『群组』字符串 范例:搜寻 (glad) 或 (good) 这两个字符串,因为 g 与 d 是重复的,所以, 我就可以将 la 与oo 列于 ( ) 当中,并以 | 来分隔开来,就可以啦! egrep -n 'g(la|oo)d' regular_express.txt |
()+ | 意义:多个重复群组的判别 范例:将『AxyzxyzxyzxyzC』用 echo 叫出,然后再使用如下的方法搜寻一下! echo 'AxyzxyzxyzxyzC' | egrep 'A(xyz)+C' 上面的例子意思是说,我要找开头是 A 结尾是 C ,中间有一个以上的 "xyz" 字符串的意思~ |
regular_express.txt内容:
"Open Source" is a good mechanism to develop programs. apple is my favorite food. Football game is not use feet only. this dress doesn't fit me. However, this dress is about $ 3183 dollars. GNU is free air not free beer. Her hair is very beauty. I can't finish the test. Oh! The soup taste good. motorcycle is cheap than car. This window is clear. the symbol '*' is represented as start. Oh! My god! The gd software is a library for drafting programs. You are the best is mean you are the no. 1. The world <Happy> is the same with "glad". I like dog. google is the best tools for search keyword. goooooogle yes! go! go! Let's go. # I am VBird