【Python网络爬虫笔记】week03

Re(正则表达式)入门

正则表达式的概念

• 正则表达式：通用的字符串表达框架
• 正则表达式的应用场景：表达文本类型的特征、同时查找或替换一组字符串、匹配字符串的全部或部分内容
• 编译：将符合正则表达式语法的字符串转换成正则表达式特征

正则表达式的语法

正则表达式语法由字符和操作符构成

操作符	说明	实例
.	表示任何单个字符
[ ]	字符集，对单个字符给出取值范围	[abc]表示a、b、c,[a-z]表示a到z单字符
[^ ]	非字符集，对单个字符给出排除范围	[^abc]表示非a或b或c的单个字符
*	前一个字符0次或无限次扩展	abc*表示ab、abc、abcc、abccc等
+	前一个字符1次或无限次扩展	abc+表示abc、abcc、abccc等
?	前一个字符0次或1次扩展	abc?表示ab、abc
|	左右表达式任意一个	abc|def表示abc、def
{m}	扩展前一个字符m次	ab{2}c表示abbc
{m, n}	扩展前一个字符m至n次	ab{1, 2}c表示abc、abbc
^	匹配字符串开头	^abc表示abc且在一个字符串的开头
$	匹配字符串结尾	abc$表示abc且在一个字符串的结尾
( )	分组标记，内部只能使用 | 操作符	(abc)表示abc,(abc|def)表示abc、def
\d	数字，等价于[0-9]
\w	单词字符，等价于[A-Za-z0-9]

经典正则表达式实例

示例	含义
^[A-Za-z]+$	由26个字母组成的字符串
^[A-Za-z0-9]+$	由26个字母和数字组成的字符串
^-?\d+$	整数形式的字符串
^[0-9]*[1-9][0-9]*S	正整数形式的字符串
[1-9]\d{5}	中国境内邮政编码，6位
[\u4e00-\u9fa5]	匹配中文字符
\d{3}-\d{8}|\d{4}-\d{7}	国内电话号码，010-68913536

匹配IP地址的正则表达式
精确写法：
0-99: [1-9]?\d
100-199: 1\d{2}
200-249: 2[0-4]\d
250-255: 25[0-5]

(([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]).){3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5])

Re库的基本使用

Re库是Python的标准库
调用方法：import re
raw string类型（原生字符串类型）
raw string是不包含对转义符再次转义的字符串

re库也可以采用string类型表示正则表达式，但更繁琐
eg. ‘[1-9]\\d{5}’
==建议：==当正则表达式包含转义符号时，使用raw string

Re库主要功能函数

函数	说明
re.search()	在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
re.match()	从一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall()	搜索字符串，以列表类型返回全部能匹配的子串
re.split()	将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()	搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()	在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

re.search(pattern, string, flags=0)

常用标记	说明
re.I	忽略正则表达式的大小写，[A-Z]能够匹配小写字符
re.M	正则表达式中的^操作符能够将给定字符串的每行当做匹配开始
re.S	正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符

示例：

import re
match=re.search(r'[1-9]\d{5}', 'BIT 100081')
if match:
    print(match.group(0))

输出结果

re.match(pattern, string, flags=0)

import re
match=re.match(r'[1-9]\d{5}', '100081 BIT')
if match:
    print(match.group(0))

输出结果

re.findall(pattern, string, flags=0)

import re
ls=re.findall(r'[1-9]\d{5}', 'BIT100081 TSU100084')
print(ls)

输出结果

re.split(pattern, string, maxsplit=0,flags=0)

import re
print(re.split(r'[1-9]\d{5}', "BIT100081 TSU100084"))

输出结果

增加maxsplit

import re
print(re.split(r'[1-9]\d{5}', "BIT100081 TSU100084", 1))

输出结果

re.finditer(pattern, string, flags=0)
re.sub(pattern, repl, string, count=0, flags=0)

• Re 库的另一种等价用法

#函数式用法：一次性操作
rst=re.search(r'[1-9]\d{5}', 'BIT 100081')

#面向对象用法：编译后的多次操作
pat=re.compiler(r'[1-9]\d{5}')
rst=pat.search('BIT 100081')

Re库的match对象

Match对象是一次匹配的结果，包含匹配的很多信息

Match对象的属性

属性	说明
.string	待匹配的文本
.re	匹配时使用patter对象（正则表达式）
.pos	正则表达式搜索文本的开始位置
.endpos	正则表达式搜索文本的结束位置

Match对象的方法

方法	说明
.group(0)	获得匹配后的字符串
.start()	匹配字符串在原始字符串的开始位置
.end()	匹配字符串在原始字符串的结束位置
.span()	返回(.start(), .end())

Re库的贪婪匹配和最小匹配

实例

• 贪婪匹配

import re
match=re.search(r'PY.*N', 'PYANBNCNDN')
print(match.group(0))

输出结果

• 最小匹配

import re
match=re.search(r'PY.*?N', 'PYANBNCNDN')
print(match.group(0))

输出结果

最小匹配操作符

操作符	说明
*?	前一个字符0次或无限次扩展，最小匹配
+?	前一个字符1次或无限次扩展，最小匹配
??	前一个字符0次或1次扩展，最小匹配
{m, n}?	扩展前一个字符m至n次（含n），最小匹配

实例：淘宝商品比价定向爬虫

目标：获取淘宝搜索页面的信息，提取其中的商品名称和价格

import re
import requests

def getHtmlText(url):
    try:
        r=requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""

def parsePage(ilt, html):
    try:
        plt=re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
        tlt=re.findall(r'\"raw_title\"\:\".*?\"', html)
        for i in range(len(plt)):
            price=eval(plt[i].split(':')[1])
            title=eval(tlt[i].split(':')[1])
            ilt.append([price, title])
    except:
        print("")

def printGoodsList(ilt):
    tplt="{:4}\t{:8}\t{:16}"
    print(tplt.format("序号", "价格", "商品名称"))
    count=0
    for g in ilt:
        count+=1
        print(tplt.format(count, g[0], g[1]))

def main():
    goods='书包'
    depth=2
    start_url="https://s.taobao.com/search?q="+goods
    infoList=[]
    for i in range(depth):
        try:
            url=start_url+'&s='+str(44*i)
            html=getHtmlText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)

main()