正则学习-bash篇

4.1. 正则表达式

4.1.1. 什么是正则表达式？

正则表达式 是一个描述一组字符串的模板。正则表达式是使用多种操作符来组合更小的表达式构建类似算术表达式。

建立块的基本原则是正则表达式匹配一个单字符。多数字符，包括所有的字幕和数字，都是匹配它们自己的正则表达式。任何带有特殊含义的字符可以以反斜杠开头来进行引用。

4.1.2. 正则表达式特殊字符

正则表达式可以跟随几个重复操作符（统配符）：

表 4.1. 正则表达式操作符

操作符	效果
.	匹配任何单个字符。
?	之前的项目是可选的，匹配最多一次。
*	匹配出现零次或者多次的先前项目。
+	匹配一次或者多次先前项目。
{N}	精确匹配N次先前的项目。
{N,}	先前的项目匹配N或者更多次。
{N,M}	先前的项目匹配至少N次，但是不多于M次。
-	表示范围如果不是列表中最先或者最后或者一个范围的结束点。
^	匹配行开始的空字符串；也表示不在列表范围内的字符。
$	匹配行末的空字符串。
/b	匹配词两边的空字符串。
/B	匹配提供的空字符串Matches the empty string provided it's not at the edge of a word.
/<	匹配任何词开头的空字符串。
/>	匹配任何词结尾的空字符串。

2个正则表达式可以连接起来；结果正则表达式匹配任何字符串。the resulting regular expression matches any string formed by concatenating two substrings that respectively match the concatenated subexpressions.

2个正则表达式可以用中缀操作符 “|” 连接起来；作为结果的正则表达式匹配任何匹配字表达式的字符串。

循环任务优先于串联，轮流接管优先级。整个子表达式可以放入括号中来忽略这些优先级规则。

4.1.3. 基本和扩展正则表达式

在基本正则表达式中统配符 “?”, “+”, “{”, “|”, “(”, 和 “)” 失去了它们的特殊含义；取而代之的是斜杠版本 “/?”, “/+”, “/{”, “/|”, “/(”, 和 “/)”.

检查你的系统文档确定使用正则表达式的命令是否支持扩展表达式。

 

4.2. 使用grep的例子

4.2.1. 什么是grep？

grep 以行为单位搜索那些包含给出模板列表的输入文件。当在一行中找到匹配，默认把该行拷贝到标准输出（默认），或者其他你以选项要求的任何种类的输出。 searches the input files for lines containing a match to a given pattern list. When it finds a match in a line, it copies the line to standard output (by default), or whatever other sort of output you have requested with options.

尽管 grep 希望在基于文本进行匹配，除了现有的内存它对于输入行的长度没有限制，而且它可以匹配某行的任意字符。如果输入文件的最后一个字节不是一个 换行，grep 就悄悄增加一个。既然换行也是一个模板列表的分隔符，那么就没有办法在一个文本中匹配一个换行字符。

一些例子：

cathy ~> grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

cathy ~> grep -n root /etc/passwd
1:root:x:0:0:root:/root:/bin/bash
12:operator:x:11:0:operator:/root:/sbin/nologin

cathy ~> grep -v bash /etc/passwd | grep -v nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
news:x:9:13:news:/var/spool/news:
mailnull:x:47:47::/var/spool/mqueue:/dev/null
xfs:x:43:43:X Font Server:/etc/X11/fs:/bin/false
rpc:x:32:32:Portmapper RPC user:/:/bin/false
nscd:x:28:28:NSCD Daemon:/:/bin/false
named:x:25:25:Named:/var/named:/bin/false
squid:x:23:23::/var/spool/squid:/dev/null
ldap:x:55:55:LDAP User:/var/lib/ldap:/bin/false
apache:x:48:48:Apache:/var/www:/bin/false

cathy ~> grep -c false /etc/passwd
7

cathy ~> grep -i ps ~/.bash* | grep -v history
/home/cathy/.bashrc:PS1="/[/033[1;44m/]$USER is in /w/[/033[0m/] "

第一个例子，用户 cathy 把 /etc/passwd 里面包含 root字符串的行显示出来。

然后她显示了包含着个搜索字符串的行的号码。

用第三个命令她检查了哪个用户没有使用 bash，但是使用 nologin shell的账号不会显示。

然后她统计了把 /bin/false 作为shell的账户的数量。

最后的命令显示了在她的home目录中所有包含以 ~/.bash 开头的行的文件，excluding matches containing history, so as to exclude matches from ~/.bash_history which might contain the same string, in upper or lower cases.

现在让我们来看看用正则表达式，grep还能做些什么。

4.2.2. Grep与正则表达式

	如果你不是在使用Linux
	我们在这些例子中使用支持扩展正则表达式的GNU grep。GNU grep 在Linux系统里是默认的。如果你在专有的系统上工作，那么请使用 -V 选项来检查你在使用哪个版本的grep。GNU grep 也可以从 http://gnu.org/directory/ 下载。

4.2.2.1. 锚定行和字

从先前的例子中，我们只想显示那些使用字符串 “root” 开头的行：

cathy ~> grep ^root /etc/passwd
root:x:0:0:root:/root:/bin/bash

如果我们想看哪个账号什么shell都没有分配，我们搜索行结束符 “:”：

cathy ~> grep :$ /etc/passwd
news:x:9:13:news:/var/spool/news:

要检查 PATH 是否在 ~/.bashrc 中导出，首先选择 “export” 然后搜索以字符串 PATH 开始的行，这样就不会搜索到MANPATH或者其他可能的路径了：

cathy ~> grep export ~/.bashrc | grep '/<PATH'
  export PATH="/bin:/usr/lib/mh:/lib:/usr/bin:/usr/local/bin:/usr/ucb:/usr/dbin:$PATH"

同样地，/> 匹配字的结束。

如果你想找到是一个分隔的字的字符串（用空格来包围的），最好使用 -w，就像在这个例子中我们现实root分区的信息那样：

cathy ~> grep -w / /etc/fstab
LABEL=/                 /                       ext3    defaults        1 1

如果不使用这个选项，系统表中的所有行都会被显示。

4.2.2.2. 字符族Character classes

方括号表达式 是一个用 “[” and “]” 包含起来的字符列表。它匹配任何在列表中的单个字符；如果列表的第一个字符是 “^”，那么它匹配任何不在列表中的字符。比如，正则表达式，“[0123456789]” 匹配任何单个数字。

在一个方括号表达式中，范围表达式range expression 由2个横线分隔的字符组成。它匹配任何排列在2个字符之间的单个字符，包括，使用场合比较序列和字符集。比如，默认的C场合，“[a-d]” 等于 “[abcd]”。许多场合以字典的顺序来对字符进行分类，在这些场合中 “[a-d]” 通常不等于 “[abcd]”；可能等于 “[aBbCcDd]”。比如，为了得到对于方括号表达式的惯用解释，你可以通过设置 LC_ALL 环境变量的值为 “C” 来使用C场合。

最后，特定的命名的字符族是在括号内事先定义的。参见 grep man 或者 info 页面得到更多关于预定义表达式的信息。

cathy ~> grep [yf] /etc/group
sys:x:3:root,bin,adm
tty:x:5:
mail:x:12:mail,postfix
ftp:x:50:
nobody:x:99:
floppy:x:19:
xfs:x:43:
nfsnobody:x:65534:
postfix:x:89:

cathy ~> ls *[1-9].xml
app1.xml  chap1.xml  chap2.xml  chap3.xml  chap4.xml

在这个例子中，所有包含一个 “y” 或者 “f” 字符的行首先显示，之后是一个 ls 命令使用范围的例子。

4.2.2.3. 统配符

使用 “.” 进行一个单字符匹配。如果你想得到一个以 “c” 开头且以 “h” 结尾的所有5位字符的英语辞典词条(来解决 crosswords 游戏，就是那个纵横填字游戏)：

cathy ~> grep '/<c...h/>' /usr/share/dict/words
catch
clash
cloth
coach
couch
cough
crash
crush

如果你想显示包含点字符的行，使用 -F 选项给 grep.

要匹配多个字符，使用星号。这个例子从系统的词典中选择了所有以 “c” 开头且以 “h” 结尾的单词：

cathy ~> grep '/<c.*h/>' /usr/share/dict/words
caliph
cash
catch
cheesecloth
cheetah
--output omitted--

如果你想在一个文件或者输出中找到包含星号字符的行，使用 grep -F：

cathy ~> grep * /etc/profile

cathy ~> grep -F '*' /etc/profile
for i in /etc/profile.d/*.sh ; do

    
    

     
     

      
      

       
       

        
        
4.3. Pattern匹配使用Bash特性 
       
       
      
      
     
     
     
     

      
      

       
       

        
        

         
         
4.3.1. 字符范围 
        
        
       
       
      
      
      
      
除了 grep 和正则表达式之外，shell里有很多无需使用外部程序就可以直接使用的匹配模板。 
      
      
就和你已经知道的一样，*和?分别匹配任何字符串和任何单个字符，引用这些特殊字符来匹配他们的字面值：
      
      
cathy ~> touch "*"

cathy ~> ls "*"
*


      
      
你也可以使用方括号来匹配任何enclosed character or range of characters，如果一对字符被-分隔，一个例子But you can also use the square braces to match any enclosed character or range of characters, if pairs of characters are separated by a hyphen. An example: 

      
      
cathy ~> ls -ld [a-cx-z]*
drwxr-xr-x    2 cathy	 cathy		4096 Jul 20  2002 app-defaults/
drwxrwxr-x    4 cathy    cathy          4096 May 25  2002 arabic/
drwxrwxr-x    2 cathy    cathy          4096 Mar  4 18:30 bin/
drwxr-xr-x    7 cathy    cathy          4096 Sep  2  2001 crossover/
drwxrwxr-x    3 cathy    cathy          4096 Mar 22  2002 xml/


      
      
列出了 cathy home目录里的所有以“a”,“a”,“b”,“c”,“x”,“y”开头的文件。 

      
      
If the first character within the braces is “!” or “^”, any character not enclosed will be matched. To match the dash (“-”), include it as the first or last character in the set. The sorting depends on the current locale and of the value of the LC_COLLATE variable, if it is set. Mind that other locales might interpret “[a-cx-z]” as “[aBbCcXxYyZz]” if sorting is done in dictionary order. If you want to be sure to have the traditional interpretation of ranges, force this behavior by setting LC_COLLATE or LC_ALL to “C”. 

     
     

     
     


      
      


       
       


        
        


         
         
4.3.2. 字符族 

        
        

       
       

      
      

      
      
字符族可以用方括号来指定，使用语法 [:CLASS:]，CALSS是定义在POSIX标准中的取以下某个值 

      
      
“alnum”, “alpha”, “ascii”, “blank”, “cntrl”, “digit”, “graph”, “lower”, “print”, “punct”, “space”, “upper”, “word” or “xdigit”. 

      
      
一些例子：

      
      
cathy ~> ls -ld [[:digit:]]*
drwxrwxr-x    2 cathy	cathy		4096 Apr 20 13:45 2/

cathy ~> ls -ld [[:upper:]]*
drwxrwxr--    3 cathy   cathy           4096 Sep 30  2001 Nautilus/
drwxrwxr-x    4 cathy   cathy           4096 Jul 11  2002 OpenOffice.org1.0/
-rw-rw-r--    1 cathy   cathy         997376 Apr 18 15:39 Schedule.sdc


      
      
当开启 extglob shell选项(使用 shopt 内建命令)， several extended pattern matching operators are recognized. Read more in the Bash info pages, section Basic shell features → Shell Expansions → Filename Expansion → Pattern Matching. 

      
      


       
       


        
        


         
         
 
          
4.4. 总结 
 
         

        
        

       
       

       
       
正则表达式对于从文件或者输出中选择特定的行来说是强有力的工具。许多UNIX命令使用正则表达式：vim, perl，PostgreSQL 数据库等等。它们可以在任何语言或者使用外部库的应用程序中中出现，甚至在非UNIX系统中也有。比如，正则表达式在MicroSoft Windows Office套装中的Excel电子制表软件中也有使用。本章，我们体验了UNIX环境不可缺少的 grep 命令。 

       
       


        
        
注意
 
grep 命令可以完成比我们在这里讨论的多的多的事情；我们仅仅使用它作为正则表达式的例子。GNU版本的 grep 有丰富的文档，强烈建议花时间去阅读。 
 

       
       

       
       
Bash 有内建的特性来匹配模板且能辨认字符的种类和范围。