Linux——私房菜读书笔记--基础正规表示法

1、语系对正规表示法的影响

使用正规表示法的时候需要特别注意当时环境的语系，底下的很多练习都是使用LANG=C这个语系进行的

 

特殊符号	代表意义
[:alnum:]	代表英文大小写字符及数字，亦即 0-9, A-Z, a-z
[:alpha:]	代表任何英文大小写字符，亦即 A-Z, a-z
[:blank:]	代表空格键与 [Tab] 按键两者
[:cntrl:]	代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等
[:digit:]	代表数字而已，亦即 0-9
[:graph:]	除了空格符 (空格键与 [Tab] 按键) 外的其他所有按键
[:lower:]	代表小写字符，亦即 a-z
[:print:]	代表任何可以被打印出来的字符
[:punct:]	代表标点符号 (punctuation symbol)，亦即：" ' ? ! ; : # $...
[:upper:]	代表大写字符，亦即 A-Z
[:space:]	任何会产生空白的字符，包括空格键, [Tab], CR 等等
[:xdigit:]	代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字符

2、grep的进阶选项   

进行字符串数据的比对，将符合用户需求的字符串打印，grep在数据查询中查找一个字符时，是以整行为单位来进行数据筛选

 

    [dmtsai@study ~]$ grep [-A] [-B] [--color=auto] '搜寻字符串' filename
        选项与参数：
            -A ：后面可加数字，为 after 的意思，除了列出该行外，后续的 n 行也列出来；
            -B ：后面可加数字，为 befer 的意思，除了列出该行外，前面的 n 行也列出来；
            --color=auto 可将正确的那个撷取数据列出颜色

命令：$  dmesg    ##可以列出核心产生的讯息，包括硬件侦测的流程

3、基础正规表示法练习

本节前提：    · 语系已经使用『 export LANG=C; export LC_ALL=C 』的设定值；
                      · grep 已经使用 alias 设定成为『 grep --color=auto 』

注意：^ 与 [] 直接相连为取行首，^与指定格式直接相连为取非。即^在字符集合符号[]之内代表反向选择，在集合符号[]之外为定位行首。

<1>搜索特定字符串

命令：$ grep  -n  ‘the’  文件名     ##搜索文件中包含the字符串，并显示。如果反向选择，$  grep -vn 'the'  文件名

<2>利用[]来搜寻集合字符

命令：$ grep  -n 't[ae]st'  文件名    ##搜寻tast与test字符串

命令：$ grep -n 'oo'  文件名    ##搜索含有oo的字符，如果不想前面有g的话，$  grep  -n '[^g]oo'  文件名，如果前面不想有小写                                                       字母  $  grep -n '[^a-z]oo'  文件名  或  $  grep  -n  '[^[:lower:]]oo'  文件名

命令：$ grep  -n '[0-9]'  文件名    ##取得有数字的一行，

<3>行首与行尾字符  ^ $

命令：$  grep  -n  '^the'  文件名    ##列出行首为the的

命令：$ grep  -n  '^[a-z]'  文件名    ##列出开头是小写的行    或  $  grep  -n  '^[[:lower:]]'  文件名

命令：$  grep  -n  '^[^a-zA-Z]'  文件名    ##列出开头不是英文字母的行

命令：$  gerp -n  '\.$'  文件名    ##找出行尾为小数点的行,小数点在正规表示式里面有一定的意义，故需用跳脱字符\来进行跳脱

<4>任意一个字符.（小数点）与重复字符*

.与*的意义：    · . (小数点)：代表『一定有一个任意字符』的意思；
                        · * (星星号)：代表『重复前一个字符， 0 到无穷多次』的意思，为组合形态，可以为空字符

命令：$  grep  -n  'g..d'  文件名    ##找出g??d类型的字符串

命令：$  grep  -n  'ooo*'  文件名   ##找出含有两个及以上oo的字符串

命令：$  grep  -n  'goo*g'  文件名    ##找出开头和结尾都是g，并且中间至少包含一个o的字符串

命令：$  grep  -n  'g.*g'  文件名   ##找出开头和结尾都是g，并且中间至少包含一个任意字符的字符串

<5>限定连续字符范围{}

{}该符号在shell中是具特殊意义的，因此我们必须要使用跳脱字符\来让其失去意义。

命令：$  grep  -n  ''o\{2\}  文件名    ##找出含有连续两o字符的字符串

命令：$  grep  -n  'go\{2,5\}g'  文件名   ##找出g后面接连续的2-5个o，且之后再接一g的字符串

命令：$  grep  -n  'go\{2,\}g'  文件名    ##找出g后面接连续两个以上o的且o之后再接一个g的字符串

4、基础正规表示法字符汇整

RE字符	意义与范例
^word	意义：待搜寻的字符串(word)在行首！ 范例：搜寻行首为 # 开始的那一行，并列出行号 grep -n '^#' regular_express.txt
word$	意义：待搜寻的字符串(word)在行尾！ 范例：将行尾为 ! 的那一行打印出来，并列出行号 grep -n '!$' regular_express.txt
.	意义：代表『一定有一个任意字符』的字符！ 范例：搜寻的字符串可以是 (eve) (eae) (eee) (e e)， 但不能仅有 (ee) ！亦即 e 与 e 中间『一定』仅有一个字符，而空格符也是字符！ grep -n 'e.e' regular_express.txt
\	意义：跳脱字符，将特殊符号的特殊意义去除！ 范例：搜寻含有单引号 ' 的那一行！ grep -n \' regular_express.txt
*	意义：重复零个到无穷多个的前一个 RE 字符 范例：找出含有 (es) (ess) (esss) 等等的字符串，注意，因为 * 可以是 0 个，所以 es 也是符合带搜寻字符串。另外，因为 * 为重复『前一个 RE 字符』的符号， 因此，在 * 之前必须要紧接着一个 RE 字符喔！例如任意字符则为 『.*』 ！ grep -n 'ess*' regular_express.txt
[list]	意义：字符集合的 RE 字符，里面列出想要撷取的字符！ 范例：搜寻含有 (gl) 或 (gd) 的那一行，需要特别留意的是，在 [] 当中『谨代表一个待搜寻的字符』， 例如『 a[afl]y 』代表搜寻的字符串可以是 aay, afy, aly 即 [afl] 代表 a 或f 或 l 的意思！ grep -n 'g[ld]' regular_express.txt
[n1-n2]	意义：字符集合的 RE 字符，里面列出想要撷取的字符范围！                                                                                                    范例：搜寻含有任意数字的那一行！需特别留意，在字符集合 [] 中的减号 - 是有特殊意义的，他代表两个字符之间的所有连续字符！但这个连续与否与 ASCII 编码有关，因此，你的编码需要设定正确(在 bash 当中，需要定 LANG 与 LANGUAGE 的变量是否正确！) 例如所有大写字符则为 [A-Z] grep -n '[A-Z]' regular_express.txt
[^list]	意义：字符集合的 RE 字符，里面列出不要的字符串或范围！ 范例：搜寻的字符串可以是 (oog) (ood) 但不能是 (oot) ，那个 ^ 在 [] 内时，代表的意义是『反向选择』的意思。 例如，我不要大写字符，则为 [^A-Z]。但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 来搜寻，却发现该文件内的所有行都被列出，为什么？因为这个 [^A-Z] 是『非大写字符』的意思， 因为每一行均有非大写字符，例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小写字 grep -n 'oo[^t]' regular_express.txt
\{n,m\}	意义：连续 n 到 m 个的『前一个 RE 字符』 意义：若为 \{n\} 则是连续 n 个的前一个 RE 字符， 意义：若是 \{n,\} 则是连续 n 个以上的前一个 RE 字符！ 范例：在 g 与 g 之间有 2 个到3 个的 o 存在的字符串，亦即 (goog)(gooog) grep -n 'go\{2,3\}g' regular_express.txt

 

5、sed工具

sed本身也是一个管线命令，可以分析stdin，还可以对数据进行取代删除新增截取等

    [dmtsai@study ~]$ sed [-nefr] [动作]
        选项与参数：
            -n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到屏幕上。 但如果加上 -n 参                      数后，则只有经过 sed 特殊处理的那一行(或者动作)才会被列出来。
            -e ：直接在指令列模式上进行 sed 的动作编辑；
            -f ：直接将 sed 的动作写在一个文件内， -f filename 则可以执行 filename 内的 sed 动作；
            -r ：sed 的动作支持的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
            -i ：直接修改读取的文件内容，而不是由屏幕输出。
        动作说明：  [n1 [,n2] ] function
                            n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行                                之  间进行的，则『 10,20[动作行为] 』
        function 有底下这些咚咚：
            a ：新增， a 的后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)～
            c ：取代， c 的后面可以接字符串，这些字符串可以取代 n1,n2 之间的行！
            d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
            i ：插入， i 的后面可以接字符串，而这些字符串会在新的一行出现(目前的上一行)；
            p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运作～
            s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！     例如 1,20s/old/new/g 就是啦！

当使用sed命令时，如果sed后面接超过两个以上的动作时，每个动作前面都需要加-e。

<1>以行为单位的新增/删除功能

命令：$  nl  /etc/passwd  |  sed  '2,5d'    ##将/etc/passwd内容列出并显示行号，同时将2-5行删除

命令：$  nl  /etc/passwd  |  sedd  '2a  drink tea'    ##将/etc/passwd内容显示列出并显示行号，同时在第二行后加drink tea，如果需要在第二行前加文字，只需将a改为  i ，当我们需要增减很多行时，行与行间需要增加 \ 

<2>以行为单位的显示与取代

命令：$  nl  /etc/passwd  |  sed  '2,5c   NO 2-5  number'    ##将文件中2-5行的内容替换为NO 2-5 number

命令：$  nl  /etc/passwd  |  sed  -n  '5,7p'    ##将文件中的5-7行打印出来

<3>部分数据的搜寻与取代

格式：sed  's/要被取代的字符串/新的字符串/g'

<4>直接修改文件内容

命令：$  sed  -i  's/\.$/\!/g'  文件名    ##将行尾为 . 结尾的用！替换。

命令：$  sed  -i  '$a  # this is a test'  文件名    ##在文件的末尾加上文字：#this is a  test