python爬虫（五）正则表达式

正则表达式的简介

动态网页的难点在于找数据接口，Network里找，大部分用了Ajax技术，selenium可以爬取静态和动态的网站。

正则表达式的概述

正则表达式是由.*?() 等一些特殊符号组合在一起的字符串，对预知的字符串进行验证，好比抓取的网页源码是一大段字符串，我们需要在里面提取某些内容。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
比如我们写好的模板，去模板里匹配某些内容，可以帮我们提取一些我们需要东西，也有可能过滤一些我们不需要的某些内容。

之前爬取网页获取源代码，在网页源码中由很多很多的数据，学习正则是用来从网页源码中提取数据。比如我们想获得网页内的图片，我们在源码中找到图片的链接，向链接发送请求，把图片保存到本地，拿到网页源代码不是最终的目的，是要从代码中提取某些数据，为了获取数据要对网页源码进行数据解析，留下想要的，去掉多余的数据，就可以用正则。

正则表达式的应用场景比较广泛

• 表单验证(例如 : 手机号、邮箱、身份证… )，在业务层进行逻辑判断，用if，else通过正则表达式来完成表单的验证。
• 爬虫

正则表达式对Python的支持，内置re模块

普通字符

字母、数字、汉字、下划线、以及没有特殊定义的符号，都是"普通字符"。正则表达式中的普通字符，在匹配的时候,只匹配与自身相同的一个字符。
例如：表达式c，在匹配字符串abcde时，匹配结果是：成功；匹配到的内容是c；匹配到的位置开始于2，结束于3。（注：下标从0开始还是从1开始，因当前编程语言的不同而可能不同）
match()函数
match(pattern, string, flags=0)，匹配到了返回match对象，匹配不到返回空值。
第一个参数是正则表达式，也就是匹配模型，区分大小写。如果匹配成功，则返回一个match对象，否则返回一个None
第二个参数表示要匹配的字符串，待匹配的数据，也就是网页源码。
第三个参数是标志位用于控制正则表达式的匹配方式 （是否区分大小写，是否用于多行匹配），默认是0，可传可不传。如: 是否区分大小写,多行匹配等等
普通字符

import re
str1 = 'python and java'
spt = 'python'  # --> 如果改为python2，就会匹配失败，因为str里没有python2
resu = re.match(spt, str1)
if resu:
    # print(resu) # -- <_sre.SRE_Match object; span=(0, 6), match='python'>，返回是<>包括的对象，可以用对象的方法提取出想要的内容
    print(resu.group())  #普通字符python
else:
    print('匹配失败')

元字符

正则表达式中使⽤了很多元字符，⽤来表示⼀些特殊的含义或功能。可以用jupyter来演示运行的结果，jupyter比较多的用在数据分析上。爬虫多的是用pycham。
安装：cmd --> pip install jupyter --> jupyter notebook（启动），注意运行期间，cmd窗口不要关闭。jupyter默认路径在C:\Users\Administrator
“r"也就是rawstring，原生字符串 ,字符串前面加上"r”，表示后面的内容只是单纯的表示原生含义，避免多次转义造成的" \ “，python中会有两次转义，python解释器的一次转义，正则的一次转义。
跟 Python 的字符串规则一样，如果在反斜杠” \ “后边紧跟着一个元字符，那么元字符的“特殊功能”不会被触发。例如你需要匹配符号[或\，你可以在它们前面加上一个反斜杠，以消除它们的特殊功能：” \ ["，" \\ “。
一个元字符是”."，如果设置了 re.DOTALL 标志，它匹配除了换行符以外的任何字符。加了" \ “之后，” \ ."就变成小数点的意思。

print('\\')  # --> \
print(r'\\')  # --> \\

表达式	匹配
.	小数点可以匹配除了换行符"\n"以外的任意一个字符
|	逻辑"或"操作符
[]	匹配字符集中的任意一个字符
[^]	对字符集取反，上面的反操作，^在[]里的最前面
-	定义[]里的一个字符区间，例如[a-z]
\	对紧跟其后的一个字符进行转义，称为普通的字符
()	对表达式进行分组，将()内的内容当作一个整体，并获得匹配的值

in[15]，a|b，用来匹配a或者b
in[16]，match会从头开始匹配，成功的话返回第一个匹配的结果；一旦匹配失败就直接结束了。
在match(‘a|b’，ab)，得到的结果是a，match匹配的特性是把正则表达式去待匹配的字符里从头开始匹配，返回第一个匹配到的结果。
search**不会从头开始匹配，只要符合就能匹配到，**返回的也是第一个匹配到的结果。

in[24]，把[abc]2改为[abc]3 就可以匹配到a3了。re.match(’[abc]3’,‘a3’).group() # --> a3
match方法中只要字符串的开头符合正则表达式中的字符都能匹配到，返回第一个匹配到的结果，匹配第一个字符。

表达式	匹配
\r,\n	匹配回车和换行符
\t	匹配制表符
\	匹配斜杠\
^	匹配^符号
$	匹配$符号
.	匹配小数点.

" \ "转义之后成为普通的字符，就没有他所代表的意义了。表达式前面都会加"r “，打开文件的路径前面也会加上“r”。
比如’\type’ # --> ype，r’\type’ # --> \type，’\\type’’ # --> \type
一些无法书写或者具有特殊功能的字符，采用在前面加斜杠” \ "进行转义的方法。

尚未列出的还有问号？、星号*和括号等其他的符号。所有正则表达式中具有特殊含义的字符在匹配自身的时候，都要使用斜杠进行转义。这些转义字符的匹配用法与普通字符类似，也是匹配与之相同的一个字符

预定义匹配字符集

事先定义好的匹配字符的集合。正则表达式中的一些表示方法，可以同时匹配某个预定义字符集中的任意一个字符。比如，表达式\d可以匹配任意一个数字。虽然可以匹配其中任意字符，但是只能是一个，不是多个

表达式	匹配
\d	任意一个数字，0-9中的任意一个
\w	任意一个字母，数字或下划线，A-Z,a-z,0-9,_中的任意一个
\s	空格" “、制表符”\t"、换页符"\f"，换行符"\n"等空白字符的其中任意一个
\D	\d的反集，也就是非数字的任意一个字符，等同于[^\d]
\W	\w的反集，也就是[^\w]
\S	\s的反集，也就是[^\s]

重复匹配

前面的表达式，无论是只能匹配一种字符的表达式，还是可以匹配多种字符其中任意一个的表达式，都只能匹配一次。但是有时候我们需要对某个字段进行重复匹配，例如手机号码13666666666，一般的新手可能会写成\d\d\d\d\d\d\d\d\d\d\d（注意，这不是一个恰当的表达式），不但写着费劲，看着也累，还不⼀定准确恰当。
这种情况可以使用表达式再加上修饰匹配次数的特殊符号{}，不但重复书写表达式就可以重复匹配。例如[abcd][abcd]可以写成[abcd]{2}

表达式	匹配（匹配的是符号前面的表达式）
{n}	表达式重复n次，比如\d{2}相当于\d\d，a{3}相当于aaa，比如{4}，待匹配的字符串有3个会报错，有5个则只能匹配出前4个
{m,n}	表达式至少重复m次，表达式至多重复n次，比如ab{1,3}可以匹配ab、abb或者abbb，包括m，n；如果字符串超过了n，则只匹配到n。注意m，n前后均无空格
{m,}	表达式至少重复m次，没有上限，比如\w\d{2}可以匹配a11，A1234，_45625等等
?	匹配表达式0次或1次，相当于{0,1}，比如a[cd]?可以匹配a,ac,ad
+	表达式至少出现1次，相当于{1,}，比如\a+b可以匹配ab,aab,aaab等等