python爬虫由浅入深8---正则表达式及Re库的基础与使用

正则表达式：通用的字符串框架，用来简洁地表达一组字符串的表达式

例：

“PY”开头，后续存在不多于10个字符

后续字符不能是“P”或“Y”  

<==>PY[^PY]{0,10}

语法：
P(Y|YT\YTH|YTHO)?N由字符和操作符构成

操作符有：

· 任何

[ ] 取值范围

[^] 排除范围

* 0或多个

+ 1或多

？ 前一个字符的0次或1次扩展

| 左右表达式或任意任意一个

{ m} 扩展前一字符m次

{m，n}扩展前一个字符m至n次（含m）

^ 匹配字符串开头

$ 匹配字符串结尾

（）分组标记

\d 数字，等价于[1,9]

\w 单词字符，等价于[A-Za-z0-9]

Re库：

import re

正则表达式的表示类型 row string类型（原生字符串类型）  即r‘text’，不含转义字符的字符串

Re库的主要功能函数：

re.search(“正则表达式”，“待匹配字符串”，flag=0)在一字符串中搜索匹配正则表达式的第一位置，返回match对象

re.match(“正则表达式”，“待匹配字符串”，flag=0)从字符串开始位置搜索匹配正则表达式，返回match对象，若开始位置没有匹配，则match为空

re.findall(“正则表达式”，“待匹配字符串”，flag=0)在一字符串中搜索匹配正则表达式的子串，返回子串列表

re.split(“正则表达式”，“待匹配字符串”，flag=0)按正则表达式分割，返回子串列表

re.finditer(“正则表达式”，“待匹配字符串”，flag=0)返回match的迭代类型

rere.sub(“正则表达式”，“要替换的新串”，“待匹配字符串”，flag=0)在一个字符串中替换所有匹配表达式的子串，返回替换后的字符串

字符串功能函数的调用也可以用面向对象的思想，先把正则表达式编译成一个封装对象，然后再用此对象调用相关的功能函数：

即 regex = re.compile(pattern,flags=0)

将正则表达式编译成正则表达式对象，然后直接用它调用re的功能函数，当然，在函数的参数中，不需要传入“正则表达式”这一参数

前文中我们一直说的match对象，而它到底是什么鬼？？

match对象：正则表达式匹配字符之后产生的对象

match对象的属性：

.string待匹配的文本

.re匹配时的pattern对象（正则表达式）

.pos正则表达式搜索文被的开始位置

.endpos正则表达式搜索文本的结束位置

match对象的方法：

.group(0)获得匹配后的字符串

.start()匹配字符串在原始字符串的开始位置

.end()结束位置

.span()返回（.start(),end()）

贪婪匹配和最小匹配？？？

Re库默认采用贪婪匹配，即输出匹配的最长的子串

match = re.search(r'PY.AN','PYANBNCNND')

match.group(0)

则会输出：“PYANBNCNND”

如何才能输出最短的子串呢？？

即最小匹配：

match = re.search(r'PY.*?N',‘PYNABNCNDN’)

match.group(0)

则会输出：‘PYAN

关于构建最小匹配的具体写法，与以上类似，暂不作详述

附：常用的正则表达式总结：

非负整数：^\d+$
 
正整数：^[0-9]*[1-9][0-9]*$
 
非正整数：^((-\d+)|(0+))$
 
负整数：^-[0-9]*[1-9][0-9]*$
 
整数：^-?\d+$
 
非负浮点数：^\d+(\.\d+)?$
 
正浮点数 : ^((0-9)+\.[0-9]*[1-9][0-9]*)|([0-9]*[1-9][0-9]*\.[0-9]+)|([0-9]*[1-9][0-9]*)$
 
非正浮点数：^((-\d+\.\d+)?)|(0+(\.0+)?))$
 
负浮点数：^(-((正浮点数正则式)))$
 
英文字符串：^[A-Za-z]+$
 
英文大写串：^[A-Z]+$
 
英文小写串：^[a-z]+$
 
英文字符数字串：^[A-Za-z0-9]+$
 
英数字加下划线串：^\w+$
 
E-mail地址：^[\w-]+(\.[\w-]+)*@[\w-]+(\.[\w-]+)+$
 
URL：^[a-zA-Z]+://(\w+(-\w+)*)(\.(\w+(-\w+)*))*(\?\s*)?$ 
 或：^http:\/\/[A-Za-z0-9]+\.[A-Za-z0-9]+[\/=\?%\-&_~`@[\]\':+!]*([^<>\"\"])*$
 
邮政编码：^[1-9]\d{5}$
 
中文：^[\u0391-\uFFE5]+$
 
电话号码：^((\(\d{2,3}\))|(\d{3}\-))?(\(0\d{2,3}\)|0\d{2,3}-)?[1-9]\d{6,7}(\-\d{1,4})?$
 
手机号码：^((\(\d{2,3}\))|(\d{3}\-))?13\d{9}$
 
双字节字符(包括汉字在内)：^\x00-\xff
 
匹配首尾空格：(^\s*)|(\s*$)（像vbscript那样的trim函数）
 
匹配HTML标记：<(.*)>.*<\/\1>|<(.*) \/>
 
匹配空行：\n[\s| ]*\r
 
提取信息中的网络链接：(h|H)(r|R)(e|E)(f|F)  *=  *('|")?(\w|\\|\/|\.)+('|"|  *|>)?
 
提取信息中的邮件地址：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
 
提取信息中的图片链接：(s|S)(r|R)(c|C)  *=  *('|")?(\w|\\|\/|\.)+('|"|  *|>)?
 
提取信息中的IP地址：(\d+)\.(\d+)\.(\d+)\.(\d+)
 
提取信息中的中国手机号码：(86)*0*13\d{9}
 
提取信息中的中国固定电话号码：(\(\d{3,4}\)|\d{3,4}-|\s)?\d{8}
 
提取信息中的中国电话号码（包括移动和固定电话）：(\(\d{3,4}\)|\d{3,4}-|\s)?\d{7,14}
 
提取信息中的中国邮政编码：[1-9]{1}(\d+){5}
 
提取信息中的浮点数（即小数）：(-?\d*)\.?\d+
 
提取信息中的任何数字 ：(-?\d*)(\.\d+)? 
 
IP：(\d+)\.(\d+)\.(\d+)\.(\d+)
 
电话区号：/^0\d{2,3}$/
 
腾讯QQ号：^[1-9]*[1-9][0-9]*$
 
帐号(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$
 
中文、英文、数字及下划线：^[\u4e00-\u9fa5_a-zA-Z0-9]+$
 
匹配中文字符的正则表达式： [\u4e00-\u9fa5]
 
匹配双字节字符(包括汉字在内)：[^\x00-\xff]
 
匹配空行的正则表达式：\n[\s| ]*\r
 
匹配HTML标记的正则表达式：/<(.*)>.*<\/\1>|<(.*) \/>/
 
sql语句：^(select|drop|delete|create|update|insert).*$
 
匹配首尾空格的正则表达式：(^\s*)|(\s*$)
 
匹配Email地址的正则表达式：\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*