正则最好只用于解析无标签的js部分,不建议解析中文。有标签的还是用xpath和bs4
例如解析某一标签,提取出同类标签,此时应该看标签哪部分是固定的,哪部分是批量化的,以及自己要的内容。同时以固定内容作为标签头尾。如下标签进行正则提取
<div class="thumb">
<a href="/article/124427049" target="_blank">
<img src="//pic.qiushibaike.com/system/pictures/12442/124427049/medium/2KZFAE3YLE29ORGK.jpg" alt="糗事#124427049" class="illustration" width="100%" height="auto">
</a>
</div>
同类标签有:
<div class="thumb">
<a href="/article/124263191" target="_blank">
<img src="//pic.qiushibaike.com/system/pictures/12426/124263191/medium/QBMP3C9AN7C4TQLB.jpg" alt="糗事#124263191" class="illustration" width="100%" height="auto">
</a>
</div>
!!!正则提取分析!!!:
<div class="thumb">------固定,主标签头
<a href="/article/121721100" target="_blank">---主标签头和子标签头之间以.*?表示
<img src="<-------子标签头-------//pic.qiushibaike.com/system/pictures/12442/124427049/medium/2KZFAE3YLE29ORGK.jpg<------需要的内容,以(.*?)表示-------" alt="糗事#<----子标签尾,只能以固定部分当标签头尾----124427049" class="illustration" width="100%" height="auto">
</a>-----此处子标签尾和主标签尾之间以.*?表示
</div>---固定,主标签尾
于是得到正则表达式:ex=r’
之后匹配,使用list1=re.findall(ex,requests请求到的网页源码所赋给的变量,re.S)<------re.S使正则表达式在全源码中匹配,而不需在意换行-----这样匹配到的url就以列表形式储存在list1里
※正则匹配全网页源码里中文:’[\u4e00-\u9fa5]+’,可能要先匹配到.?,再在匹配到的字符串中匹配中文。
※一般是要什么匹配什么。比如匹配k='link_p.php?targetpage=http://www.baidu.com/‘中的网址,正则可以写为ex=r’http.*?shtml’
符号意义:
.
表示匹配除了换行符外的任何字符
注:通过设置 re.DOTALL 标志可以使 . 匹配任何字符(包含换行符)
|
A | B,表示匹配正则表达式 A 或者 B
^
- (脱字符)匹配输入字符串的开始位置
- 如果设置了 re.MULTILINE 标志,^ 也匹配换行符之后的位置
$
- 匹配输入字符串的结束位置
- 如果设置了 re.MULTILINE 标志,$ 也匹配换行符之前的位置
\
- 将一个普通字符变成特殊字符,例如 \d 表示匹配所有十进制数字
- 解除元字符的特殊功能,例如 . 表示匹配点号本身
- 引用序号对应的子组所匹配的字符串
- 详见下方列举
[…]
字符类,匹配所包含的任意一个字符
注1:连字符 - 如果出现在字符串中间表示字符范围描述;如果如果出现在首位则仅作为普通字符
注2:特殊字符仅有反斜线 \ 保持特殊含义,用于转义字符。其它特殊字符如 *、+、? 等均作为普通字符匹配
注3:脱字符 ^ 如果出现在首位则表示匹配不包含其中的任意字符;如果 ^ 出现在字符串中间就仅作为普通字符匹配
{M,N}
M 和 N 均为非负整数,其中 M <= N,表示前边的 RE 匹配 M ~ N 次
注1:{M,} 表示至少匹配 M 次
注2:{,N} 等价于 {0,N}
注3:{N} 表示需要匹配 N 次
匹配前面的子表达式零次或多次,等价于 {0,}
匹配前面的子表达式一次或多次,等价于 {1,}
?
匹配前面的子表达式零次或一次,等价于 {0,1}
*?, +?, ??
默认情况下 、+ 和 ? 的匹配模式是贪婪模式(即会尽可能多地匹配符合规则的字符串);?、+? 和 ?? 表示启用对应的非贪婪模式。
举个栗子:对于字符串 “FishCCC”,正则表达式 FishC+ 会匹配整个字符串,而 FishC+? 则匹配 “FishC”。
{M,N}?
同上,启用非贪婪模式,即只匹配 M 次
(…)
匹配圆括号中的正则表达式,或者指定一个子组的开始和结束位置
注:子组的内容可以在匹配之后被 \数字 再次引用
举个栗子: (\w+) \1 可以字符串 “FishC FishC.com” 中的 “FishC FishC”(注意有空格)
(?..)
(? 开头的表示为正则表达式的扩展语法(下边这些是 Python 支持的所有扩展语法)
(?aiLmsux)
- (? 后可以紧跟着 ‘a’,‘i’,‘L’,‘m’,‘s’,‘u’,‘x’ 中的一个或多个字符,只能在正则表达式的开头使用
- 每一个字符对应一种匹配标志:re-A(只匹配 ASCII 字符),re-I(忽略大小写),re-L(区域设置),re-M(多行模式), re-S(. 匹配任何符号),re-X(详细表达式),包含这些字符将会影响整个正则表达式的规则
- 当你不想通过 re.compile() 设置正则表达式标志,这种方法就非常有用啦
注意,由于 (?x) 决定正则表达式如何被解析,所以它应该总是被放在最前边(最多允许前边有空白符)。如果 (?x) 的前边是非空白字符,那么 (?x) 就发挥不了作用了。
(?:…)
非捕获组,即该子组匹配的字符串无法从后边获取
(?P…)
命名组,通过组的名字(name)即可访问到子组匹配的字符串
(?P=name)
反向引用一个命名组,它匹配指定命名组匹配的任何内容
(?#…)
注释,括号中的内容将被忽略
(?=…)
前向肯定断言。如果当前包含的正则表达式(这里以 … 表示)在当前位置成功匹配,则代表成功,否则失败。一旦该部分正则表达式被匹配引擎尝试过,就不会继续进行匹配了;剩下的模式在此断言开始的地方继续尝试。
举个栗子:love(?=FishC) 只匹配后边紧跟着 “FishC” 的字符串 “love”
(?!..)
前向否定断言。这跟前向肯定断言相反(不匹配则表示成功,匹配表示失败)。
举个栗子:FishC(?!.com) 只匹配后边不是 “.com” 的字符串 “FishC”
(?<=…)
后向肯定断言。跟前向肯定断言一样,只是方向相反。
举个栗子:(?<=love)FishC 只匹配前边紧跟着 “love” 的字符串 “FishC”
(?<!..)
后向否定断言。跟前向肯定断言一样,只是方向相反。
举个栗子:(?<!FishC).com 只匹配前边不是 “FishC” 的字符串 “.com”
(?(id/name)yes-pattern|no-pattern)
- 如果子组的序号或名字存在的话,则尝试 yes-pattern 匹配模式;否则尝试 no-pattern 匹配模式
- no-pattern 是可选的
举个栗子:(<)?(\w+@\w+(?:.\w+)+)(?(1)>|$) 是一个匹配邮件格式的正则表达式,可以匹配 user@fishc.com 和 ‘user@fishc.com’,但是不会匹配 ‘<user@fishc.com’ 或 ‘user@fishc.com>’
\
下边列举了由字符 ‘’ 和另一个字符组成的特殊含义。注意,’’ + 元字符的组合可以解除元字符的特殊功能
\序号
- 引用序号对应的子组所匹配的字符串,子组的序号从 1 开始计算
- 如果序号是以 0 开头,或者 3 个数字的长度。那么不会被用于引用对应的子组,而是用于匹配八进制数字所表示的 ASCII 码值对应的字符
举个栗子:.+) \1 会匹配 “FishC FishC” 或 “55 55”,但不会匹配 “FishCFishC”(注意,因为子组后边还有一个空格)
\A
匹配输入字符串的开始位置
\Z
匹配输入字符串的结束位置
\b
零宽断言,匹配一个单词边界,单词被定义为 Unidcode 的字母数字或下横线字符
举个栗子:\bFishC\b 会匹配字符串 “love FishC”、FishC." 或 “(FishC)”
\B
零宽断言,匹配非单词边界,其实就是与 \b 相反
举个栗子:py\B 会匹配字符串 “python”、“py3” 或 “py2”,但不会匹配 "py "、“py.” 或 “py!”
\d
- 对于 Unicode(str 类型)模式:匹配任何一个数字,包括 [0-9] 和其他数字字符;如果开启了 re.ASCII 标志,就只匹配 [0-9]
- 对于 8 位(bytes 类型)模式:匹配 [0-9] 中任何一个数字
\D
匹配任何非 Unicode 的数字,其实就是与 \d 相反;如果开启了 re.ASCII 标志,则相当于匹配 [^0-9]
\s
- 对于 Unicode(str 类型)模式:匹配 Unicode 中的空白字符(包括 [ \t\n\r\f\v] 以及其他空白字符);如果开启了 re.ASCII 标志,就只匹配 [ \t\n\r\f\v]
- 对于 8 位(bytes 类型)模式:匹配 ASCII 中定义的空白字符,即 [ \t\n\r\f\v]
\S
匹配任何非 Unicode 中的空白字符,其实就是与 \s 相反;如果开启了 re.ASCII 标志,则相当于匹配 [^ \t\n\r\f\v]
\w
- 对于 Unicode(str 类型)模式:匹配任何 Unicode 的单词字符,基本上所有语言的字符都可以匹配,当然也包括数字和下横线;如果开启了 re.ASCII 标志,就只匹配 [a-zA-Z0-9_]
- 对于 8 位(bytes 类型)模式:匹配 ASCII 中定义的字母数字,即 [a-zA-Z0-9_]
\W
匹配任何非 Unicode 的单词字符,其实就是与 \w 相反;如果开启了 re.ASCII 标志,则相当于 [^a-zA-Z0-9_]
转义符号
正则表达式还支持大部分 Python 字符串的转义符号:\a,\b,\f,\n,\r,\t,\u,\U,\v,\x,\
注1:\b 通常用于匹配一个单词边界,只有在字符类中才表示“退格”
注2:\u 和 \U 只有在 Unicode 模式下才会被识别
注3:八进制转义(\数字)是有限制的,如果第一个数字是 0,或者如果有 3 个八进制数字,那么就被认为是八进制数;其他情况则被认为是子组引用;至于字符串,八进制转义总是最多只能是 3 个数字的长度