正则表达式

1.8.1 正则表达式

             正则表达式是用来匹配与查找字符串的，从网上爬取数据自然或多或少会用到正则表达式。

              Python 的正则表达式要先引入 re 模块，正则表达式以 r 引导，例如：

                              import re

                              reg=r"\d+"

                              m=re.search(reg,"abc123cd")

                              print(m)

              其中 r"\d+"正则表达式表示匹配连续的多个数值，search 是 re 中的函数，从"abc123cd" 字符串中搜索连续的数值，得到"123"，返回一个匹配对象，因此程序的结果如下： 从结果看出，在指定的字符串中找到了连续的数值，它们是"123"，span(3,6)表示开始 位置是 3，结束位置是 6，这正好是"123"在"abc123cd"中的位置。

              Python 中关于正则表达式的规则比较多，下面将介绍主要的内容，详细内容读者可以 参考相关资料。

             1、字符"\d"匹配 0-9 之间的一个数值。 例如：

                        import re

                        reg=r"\d"

                        m=re.search(reg,"abc123cd")

                        print(m) 结果找到了第一个数值"1":

             2、字符"+"重复前面一个匹配字符一次或者多次。 例如：

                        import re

                        reg=r"b\d+"

                        m=re.search(reg,"a12b123c")

                        print(m)

                        结果找到了"b123":

                        注意：r"b\d+"第一个字符要匹配"b"，后面是连续的多个数字，因此是"b123"，不是"a12"。

              3、字符"*"重复前面一个匹配字符零次或者多次。 "*"与"+"类似，但有区别，例如：

                        import re

                        reg=r"ab+"

                        m=re.search(reg,"acabc")

                        print(m)

                        reg=r"ab*"

                        m=re.search(reg,"acabc")

                        print(m)

                        结果： 由此可见 r"ab+"匹配的是"ab"，但是 r"ab*"匹配的是"a"，因为 r"ab*"表示"b"可以重复 零次，但是"+"却要求"b"重复一次以上。

              4、字符"?"重复前面一个匹配字符零次或者一次。 例如：

                       import re

                       reg=r"ab?"

                       m=re.search(reg,"abbcabc")

                       print(m)

                       结果： 匹配结果是"ab"，其中 b 重复一次。

             5、字符"."代表任何一个字符，但是没有特别声明时不代表字符"\n"。 例如：

                       import re

                       s="xaxby"

                       m=re.search(r"a.b",s)

                       print(m)

                       结果"."代表了字符"x"

               6、"|"代表把左右分成两个部分。 例如：

                       import re

                       s="xaabababy"

                       m=re.search(r"ab|ba",s)

                       print(m)

                        结果匹配"ab"或者"ba"都可以：

              7、特殊字符使用反斜线"\"引导，例如"\r"、"\n"、"\t"、"\\"分别表示回车、换行、制 表符号与反斜线自己本身。 例如：

                         import re

                         reg=r"a\nb?"

                          m=re.search(reg,"ca\nbcabc")

                          print(m) 结果匹配"a\n\b":

              8、字符"\b"表示单词结尾，单词结尾包括各种空白字符或者字符串结尾。 例如：

                           import re

                           reg=r"car\b"

                           m=re.search(reg,"The car is black")

                           print(m) 结果匹配"car"，因为"car"后面是以个空格：

                9、"[]"中的字符是任选择一个，如果字符是 ASCII 码中连续的一组，那么可以使用"-" 符号连接，例如[0-9]表示 0-9 的其中一个数字，[A-Z]表示 A-Z 的其中一个大写字符，[0-9A-Z] 表示 0-9 的其中一个数字或者是 A-Z 的其中一个大写字符。 例如：

                           import re

                           reg=r"x[0-9]y"

                           m=re.search(reg,"xyx2y")

                           print(m) 结果匹配"x2y":

                10、"^"出现在[]的第一个字符位置，就代表取反，例如[^ab0-9]表示不是 a、b，也不是 0-9 的数字。 例如：

                           import re

                           reg=r"x[^ab0-9]y"

                           m=re.search(reg,"xayx2yxcy") 

                           print(m) 结果匹配"xcy":

                 11、"\s"匹配任何空白字符，等价"[\r\n\x20\t\f\v]"。 例如：

                           import re

                           s="1a ba\tbxy"

                           m=re.search(r"a\sb",s)

                           print(m) 结果匹配"a b"：

                12、"\w"匹配包括下划线子内的单词字符，等价于"[a-zA-Z0-9_]"。 例如：

                           import re

                           reg=r"\w+"

                           m=re.search(reg,"Python is easy")

                           print(m) 结果匹配"Python"：

               13、"^"匹配字符串的开头位置。 例如： 

                            import re

                            reg=r"^ab"

                            m=re.search(reg,"cabcab")

                            print(m) 结果： None 没有匹配到任何字符，因为"cabcab"中虽然有"ab"，但不是"ab"开头。

                 14、"$"字符匹配字符串的结尾位置。 例如：

                            import re

                            reg=r"ab$"

                            m=re.search(reg,"abcab")

                            print(m)

                            匹配结果是最后一个"ab"，而不是第一个"ab":

                15、使用括号(...)可以把(...)看成一个整体，经常与"+"、"*"、"?"的连续使用，对(...)部 分进行重复。 例如：

                            import re

                            reg=r"(ab)+"

                            m=re.search(reg,"ababcab")

                           print(m) 结果匹配"abab"，"+"对"ab"进行了重复：

1.8.2 查找匹配字符串

                 正则表达式库 re 的 search 函数使用正则表达式对要匹配的字符串进行匹配，如果匹配 不成功就返回 None，如果匹配成功就返回一个匹配对象。

                 匹配对象调用 start()函数得到匹 配字符串的开始位置，匹配对象调用 end()函数得到匹配字符串的结束位置。

                 search 虽然只 返回第一次匹配的结果，但是我们只要连续使用 search 函数就可以找到字符串中全部匹配 的字符串。                  例：

                         匹配找出英文句子中所有单词 我们可以使用正则表达式 r"[A-Za-z]+\b"匹配单词，它表示匹配由大小写字母组成的连续 多个字符，一般是一个单词，之后"\b"表示单词结尾。

                 

import re

s="I am testing search function"

reg=r"[A-Za-z]+\b"
m=re.search(reg,s)
while m!=None:
    start=m.start()
    end=m.end()
    print(s[start:end])
    s=s[end:]
    m=re.search(reg,s)

                        结果： I am testing search function 程序开始匹配到一个单词后 m.start(),m.end()就是单词的起始位置，s[start:end]为截取的单词， 之后程序再次匹配字符串 s=s[end:]，即字符串的后半段，一直到匹配完毕为止就找出每个单词

中国MOOC爬虫技术