python——re模块(正则表达式，爬虫)

import re

s = "我的电话是：10086，我女朋友的电话号码是：10010."

res = re.findall(pattern, string, flags=0)

• res：返回一个列表，列表中的每个字符串元素就是符合的结果
• pattern：正则表达式
• string：要匹配的原始字符串
• flags：不常用，默认为0

res = re.findall(pattern="\d+", string=s)
res

['10086', '10010']

findall有一个问题：如果string是一个爬取的网页的内容，那最后匹配成功的元素可能会非常多，列表需要把所有的符合的结果都计算出来存放在内存，浪费资源。finditer和findall一摸一样，只不过返回一个迭代器，不用一次生成所有结果，而且按需一个一个生成。

res = re.finditer(pattern, string, flags=0)

• res：返回一个迭代器，每个元素就是符合匹配的结果
• pattern：正则表达式
• string：要匹配的原始字符串
• flags：不常用，默认为0

ret = re.finditer(pattern="\d+", string=s)
ret

<callable_iterator at 0x26f4679e790>

# 迭代器通过for循环取元素
for item in ret:
    print(item)
    # 如果只要数据：
    print(item.group())

<re.Match object; span=(6, 11), match='10086'>
10086
<re.Match object; span=(23, 28), match='10010'>
10010

res = re.search(pattern, string, flags=0)

• res：包装匹配成功的数据以re.Match对象返回，若想读取值通过：.group()
• pattern：正则表达式
• string：要匹配的原始字符串
• flags：不常用，默认为0

注意：search只返回第最先匹配成功的对象，也就是说res只是单一Match对象

ret = re.search(pattern="\d+", string=s)
print(ret)
print(ret.group())

<re.Match object; span=(6, 11), match='10086'>
10086

res = re.match(pattern, string, flags=0)

• res：包装匹配成功的数据以re.Match对象返回，若想读取值通过：.group()
• pattern：正则表达式
• string：要匹配的原始字符串
• flags：不常用，默认为0

match默认从第一个元素开始匹配，如果第一个匹配不成功就结束，返回none

res = re.match(pattern="\d+", string=s)
print(res)

None

s = "1wwdadwa"
res = re.match(pattern="\d+", string=s)
print(res)

<re.Match object; span=(0, 1), match='1'>

正则表达式预编译：就不用每次在方法里手写了，提前设计好表达式，方便复用。

obj = re.compile("\d+")
print(type(obj))
ret = obj.findall(string=s)
ret

<class 're.Pattern'>





['10086', '10010']

实例：

sq = """
         <div id='dfg'><span class='1'>四面八方</span></div>
         <div id='ab'><span class='2'>胡说八道</span></div>
         <div id='lru'><span class='3'>动手动脚</span></div>
         <div id='wghter'><span class='4'>爱咋咋地</span></div>
         <div id='ymuo'><span class='5'>震惊</span></div>
    """
obj = re.compile("<div id='.*?'><span class='.*?'>.*?</span></div>", re.S)  # re.S 是为了防止html文件的断行

res = obj.finditer(string=sq)
for item in res:
    print(item.group())

<div id='dfg'><span class='1'>四面八方</span></div>
<div id='ab'><span class='2'>胡说八道</span></div>
<div id='lru'><span class='3'>动手动脚</span></div>
<div id='wghter'><span class='4'>爱咋咋地</span></div>
<div id='ymuo'><span class='5'>震惊</span></div>

# 如果把每一组 .*? 前面加上 ?P<>，并在尖括号里随便取名字，并在最外面加上()，那么就可通过group（）方法得到
obj = re.compile("<div id='(?P<fea>.*?)'><span class='(?P<ttt>.*?)'>(?P<pln>.*?)</span></div>", re.S)
res = obj.finditer(string=sq)
for item in res:
    print(item.group("fea"), item.group("ttt"), item.group("pln"))

dfg 1 四面八方
ab 2 胡说八道
lru 3 动手动脚
wghter 4 爱咋咋地
ymuo 5 震惊