网络爬虫（三）：正则表达式

正则表达式是处理字符串的强大工具，它有自己特定的语法结构。有了它，我们就能实现字符串的检索、替换、匹配验证。对于爬虫来说，有了它，要从 HTML 里提取想要的信息就非常方便了。

打开开源中国提供的正则表达式测试工具 http://tool.oschina.net/regex/，输入待匹配的文本，然后选择常用的正则表达式，就可以得出相应的匹配结果了。

例如，输入下面这段待匹配的文本：

Hello,my phone number is 010-86432100 and email is cqc@cuiqingcai.com,andmy website is https://cuiqingcai.com.

这段字符串中包含了一个电话号码和一个电子邮件，接下来就尝试用正则表达式提取出来

使用正则表达式的匹配功能，也就是用一定规则将特定的文本提取出来。比方说，电子邮件是有其特定的组成格式的：一段字符串+@符号+某个域名。而URL的组成格式则是协议类型+冒号加双斜线 + 域名和路径。

可以用下面的正则表达式匹配 URL：

用这个正则表达式去匹配一个字符串，如果这个字符串中包含类似URL的文本，那就会被提取出来。这个看上去乱糟糟的正则表达式其实有特定的语法规则。比如，a-z匹配任意的小写字母，\s匹配任意的空白字符，*匹配前面任意多个字符。这一长串的正则表达式就是这么多匹配规则的组合。写好正则表达式后，就可以拿它去一个长字符串里匹配查找了。不论这个字符串里面有什么，只要符合我们写的规则，统统可以找出来。对于网页来说，如果想找出网页源代码里有多少 URL，用 URL 的正则表达式去匹配即可。

下表中列出了常用的匹配规则：

正则表达式不是 Python 独有的，它也可以用在其他编程语言中。但是 Python 的 re 库提供了整个正则表达式的实现，利用这个库，可以在 Python 中使用正则表达式。下面介绍一下他的常用方法。

1、match

向它传入要匹配的字符串，以及正则表达式，就可以检测这个正则表达式是否匹配字符串。match方法会尝试从字符串的起始位置匹配正则表达式，如果匹配，就返回匹配成功的结果；如果不匹配，就返回None。实例：

 运行结果：

这里首先声明了一个字符串，其中包含英文字母、空白字符、数字等。然后写了一个正则表达式，开头的^匹配字符串的开头，也就是以Hello开头；\s匹配空白字符，用来匹配目标字符串的空格；\d匹配数字，3个\d匹配123；再写1个\s匹配空格；后面的4567，其实依然能用4个\d来匹配，但是这么写比较烦琐，所以后面可以跟{4}代表匹配前面的规则4次，也就是匹配4个数字；后面再紧接1个空白字符，最后\w{10}匹配10个字母及下划线。

在match方法中，第一个参数传入正则表达式，第二个参数传入要匹配的字符串。打印输出结果，可以看到结果是SRE_Match对象，这证明成功匹配。该对象有两个方法：group方法可以输出匹配的内容，结果是Hello1234567World_This，这恰好是正则表达式规则所匹配的内容&