Linux学习笔记12—正则表达式与文件格式化处理

• 正规表示法就是处理字串的方法，他是以行为单位来进行字串的处理行为；
• 正规表示法透过一些特殊符号的辅助，可以让使用者轻易的达到『搜寻/删除/取代』某特定字串的处理程序；
• 只要工具程序支持正规表示法，那么该工具程序就可以用来作为正规表示法的字串处理之用；
• 正规表示法与万用字节是完全不一样的东西！通配符 (wildcard) 代表的是 bash 操作介面的一个功能， 但正规表示法则是一种字串处理的表示方式！

通配符	代表意义
*	匹配任意长度的任意字符，可以是0个
?	匹配任意单个字符，必须是1个
[ ]	匹配指定字符范围内的任意单个字符
[a-z,A-Z,0-9]	匹配所有数字字母，可以不加逗号
[a-z]	表示a-z，A-Y，表示a,A,b,B.....a。不包含Z
[A-Z]	表示A,b,B.....z,Z。不包含a
[a-Z]	表示所有大小写字母
[:upper:]	所有大写字母
[:lower:]	所有小写字母
[:alpha:]	所有字母，大小写
[:digit:]	所有数字
[:alnum:]	所有数字+字母
[:blank:]	水平空白字符
[:space:]	水平或垂直空白字符
[:punct:]	标点符号
[:print:]	可打印字符
[:cntrl:]	控制（非打印）字符
[:graph:]	图形字符
[:xdigit:]	十六进制字符
[^]	匹配指定字符范围外的任意单个字符
[^0-9]	相当于[^[:digit:]]
[^a-z]	表示Z + 其他
[^A-Z]	表示a + 其他

• 使用 grep 或其他工具进行正规表示法的字串比对时，因为编码的问题会有不同的状态，因此， 你最好将 LANG 等变量配置为 C 或者是 en 等英文语系！
• grep 与 egrep 在正规表示法里面是很常见的两支程序，其中， egrep 支持更严谨的正规表示法的语法；

• 一、查找字符串
  grep -n 'the' filename   #查找特定字符串
  grep -vn 'the' filename  #反向选择，查找没有特定字符串的行
  grep -in 'the' filename  #不区分大小写
  
  二、[]的用法，查找集合字符
  grep -n 't[ae]st' filename    #查找有tast或者test的行，[ae]代表a或者e中的一个字母
  grep -n '[^g]oo' filename     #查找有oo但是oo前面没有g的行，[^ ]为反向选择
  grep -n '[^a-z]oo' filename   #查找有oo但是oo前面没有小写字母的行
  #大写英文[A-Z][:upper:] 小写英文[a-z][:lower:] 数字[0-9][:digit:] 三者集合[a-zA-Z0-9]
  
  三、行首^ 行尾$
  grep -n '^the' filename    #查找行首为the的行
  grep -n '^[a-z]' filename  #查找行首为小写字母的行
  grep -n '^[^a-zA-Z]' filename  #查找行首不是英文字母的行，^在[]内是反向选择，外是行首
  grep -n '/.$' filename    #查找行尾不是.的行，/为转义符
  grep -n '^$' filename      #查找空白行
  grep -v '^$' filename | grep -v '^#'    #不显示空白行和行首为#的行
  
  四、任意一个字符.与重复字符*
  # .代表【一定有一个任意字符】的意思
  # *代表【重复前一个字符，0到无穷次】的意思
  grep -n 'g..d' filename   #查找有g??d的行，g和d直接有两个任意字符
  grep -n 'goo*d' filename  #查找g和d之间有一个以上o的行
  grep -n 'g.*g' filename   #查找g开头g结尾的行，.*代表零个或多个任意字符
  grep -n '[0-9][0-9]*' filename #查找有任意数字的行
  
  五、限定连续RE字符范围{}
  #{ 和 }两个符合有特殊意义，需要使用\转义
  grep -n 'o\{2\}' filename #查找两个o的字符串
  grep -n 'go\{2,5\}' filename #查找g后面有2-5个o的行
  grep -n 'go\{2,\}' filename  #查找g后面有2个以上o的行
  

  特殊符号	代表意义
  [:alnum:]	代表英文大小写字节及数字，亦即 0-9, A-Z, a-z
  [:alpha:]	代表任何英文大小写字节，亦即 A-Z, a-z
  [:blank:]	代表空白键与 [Tab] 按键两者
  [:cntrl:]	代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等
  [:digit:]	代表数字而已，亦即 0-9
  [:graph:]	除了空白字节 (空白键与 [Tab] 按键) 外的其他所有按键
  [:lower:]	代表小写字节，亦即 a-z
  [:print:]	代表任何可以被列印出来的字节
  [:punct:]	代表标点符号 (punctuation symbol)，亦即：" ' ? ! ; : # $...
  [:upper:]	代表大写字节，亦即 A-Z
  [:space:]	任何会产生空白的字节，包括空白键, [Tab], CR 等等
  [:xdigit:]	代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字节

  RE 字符	意义与范例
  ^word	意义：待搜寻的字串(word)在行首！ 范例：搜寻行首为 # 开始的那一行，并列出行号 grep -n '^#' regular_express.txt
  word$	意义：待搜寻的字串(word)在行尾！ 范例：将行尾为 ! 的那一行列印出来，并列出行号 grep -n '!$' regular_express.txt
  .	意义：代表『一定有一个任意字节』的字符！ 范例：搜寻的字串可以是 (eve) (eae) (eee) (e e)， 但不能仅有 (ee) ！亦即 e 与 e 中间『一定』仅有一个字节，而空白字节也是字节！ grep -n 'e.e' regular_express.txt
  \	意义：跳脱字符，将特殊符号的特殊意义去除！ 范例：搜寻含有单引号 ' 的那一行！ grep -n \' regular_express.txt
  *	意义：重复零个到无穷多个的前一个 RE 字符 范例：找出含有 (es) (ess) (esss) 等等的字串，注意，因为 * 可以是 0 个，所以 es 也是符合带搜寻字串。另外，因为 * 为重复『前一个 RE 字符』的符号， 因此，在 * 之前必须要紧接著一个 RE 字符喔！例如任意字节则为 『.*』 ！ grep -n 'ess*' regular_express.txt
  [list]	意义：字节集合的 RE 字符，里面列出想要撷取的字节！ 范例：搜寻含有 (gl) 或 (gd) 的那一行，需要特别留意的是，在 [] 当中『谨代表一个待搜寻的字节』， 例如『 a[afl]y 』代表搜寻的字串可以是 aay, afy, aly 即 [afl] 代表 a 或 f 或 l 的意思！ grep -n 'g[ld]' regular_express.txt
  [n1-n2]	意义：字节集合的 RE 字符，里面列出想要撷取的字节范围！ 范例：搜寻含有任意数字的那一行！需特别留意，在字节集合 [] 中的减号 - 是有特殊意义的，他代表两个字节之间的所有连续字节！但这个连续与否与 ASCII 编码有关，因此，你的编码需要配置正确(在 bash 当中，需要确定 LANG 与 LANGUAGE 的变量是否正确！) 例如所有大写字节则为 [A-Z] grep -n '[A-Z]' regular_express.txt
  [^list]	意义：字节集合的 RE 字符，里面列出不要的字串或范围！ 范例：搜寻的字串可以是 (oog) (ood) 但不能是 (oot) ，那个 ^ 在 [] 内时，代表的意义是『反向选择』的意思。 例如，我不要大写字节，则为 [^A-Z]。但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 来搜寻，却发现该文件内的所有行都被列出，为什么？因为这个 [^A-Z] 是『非大写字节』的意思， 因为每一行均有非大写字节，例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小写字 grep -n 'oo[^t]' regular_express.txt
  \{n,m\}	意义：连续 n 到 m 个的『前一个 RE 字符』 意义：若为 \{n\} 则是连续 n 个的前一个 RE 字符， 意义：若是 \{n,\} 则是连续 n 个以上的前一个 RE 字符！ 范例：在 g 与 g 之间有 2 个到 3 个的 o 存在的字串，亦即 (goog)(gooog) grep -n 'go\{2,3\}g' regular_express.txt

• 由於编码系统的不同，不同的语系 (LANG) 会造成正规表示法撷取数据的差异。因此可利用特殊符号如 [:upper:] 来替代编码范围较佳；
• 由於严谨度的不同，正规表示法之上还有更严谨的延伸正规表示法；
• 基础正规表示法的特殊字符有： *, ?, [], [-], [^], ^, $ 等！
• 常见的正规表示法工具有： grep , sed, vim 等等

• sed为管道命令，可以分析标准输入，可以进行数据替换、删除、新增、选取
  例：
  nl filename | sed '2,5d'    #列出文件内容，并删除2~5行
  nl filename | sed '2d'      #列出文件内容，并删除2行
  nl filename | sed '3,$d'    #列出文件内容，并删除3到最后一行
  nl filename | sed '2a drinktea'      #列出文件内容，并在第2行后面加drinktea字符
  nl filename | sed '2i drinktea'      #列出文件内容，并在第2行前面加drinktea字符
  
  nl filename | sed '2i drinktea\
  drinkbeer'                           #列出文件内容，并在第2行前面加多行字符，在每行后加\换行
  
  nl filename | sed '2,5c no 2-5 number'  #将2-5行的内容替换为no 2-5 number
  nl filename | sed -n '5,7p' #列出文件的5-7行，sed -n 仅列出特殊处理的一行
  sed 's/要被替换的字符/新的字符/g'

  扩展正则表达式

RE 字符	意义与范例
+	意义：重复『一个或一个以上』的前一个 RE 字符 范例：搜寻 (god) (good) (goood)... 等等的字串。 那个 o+ 代表『一个以上的 o 』所以，底下的运行成果会将第 1, 9, 13 行列出来。 egrep -n 'go+d' regular_express.txt
?	意义：『零个或一个』的前一个 RE 字符 范例：搜寻 (gd) (god) 这两个字串。 那个 o? 代表『空的或 1 个 o 』所以，上面的运行成果会将第 13, 14 行列出来。 有没有发现到，这两个案例( 'go+d' 与 'go?d' )的结果集合与 'go*d' 相同？ 想想看，这是为什么喔！ ^_^ egrep -n 'go?d' regular_express.txt
|	意义：用或( or )的方式找出数个字串 范例：搜寻 gd 或 good 这两个字串，注意，是『或』！ 所以，第 1,9,14 这三行都可以被列印出来喔！那如果还想要找出 dog 呢？ egrep -n 'gd|good' regular_express.txt egrep -n 'gd|good|dog' regular_express.txt
()	意义：找出『群组』字串 范例：搜寻 (glad) 或 (good) 这两个字串，因为 g 与 d 是重复的，所以， 我就可以将 la 与 oo 列於 ( ) 当中，并以 | 来分隔开来，就可以啦！ egrep -n 'g(la|oo)d' regular_express.txt
()+	意义：多个重复群组的判别 范例：将『AxyzxyzxyzxyzC』用 echo 叫出，然后再使用如下的方法搜寻一下！ echo 'AxyzxyzxyzxyzC' | egrep 'A(xyz)+C' 上面的例子意思是说，我要找开头是 A 结尾是 C ，中间有一个以上的 "xyz" 字串的意思～

• printf 可以透过一些特殊符号来将数据进行格式化输出；
• awk 可以使用『栏位』为依据，进行数据的重新整理与输出；
• 文件的比对中，可利用 diff 及 cmp 进行比对，其中 diff 主要用在纯文字文件方面的新旧版本比对
• patch 命令可以将旧版数据升级到新版 (主要亦由 diff 创建 patch 的补丁来源文件)