python爬虫之RE解析常用方法

re解析

re即Regular Expression，正则表达式，是一种使用表达式的方式对字符串进行匹配的语法规则

我们抓取到的网页源代码本质上就是一个超长的字符串，想从里面提取内容，使用正则式再合适不过了

如果对于正则表达式基本语法不了解可以看这里：正则表达式基本语法

re模块一般常用的只有以下几个函数：

import re

s = "我的电话号是:10086,我女朋友的电话是:10010"

# re.findAll()
# 返回的是一个列表，但是列表效率不高，一般不使用
lst = re.findall("\d+", s)
print(lst)


# re.finditer()
# 匹配字符串中所有的内容[返回的是迭代器],从迭代器中拿到内容需要使用.group()
it = re.finditer("\d+", s)
for i in it:
    print(i.group())

# re.search()
# search返回的是match对象,拿数据需要的是.group(),找到一个结果就返回
res = re.search("\d+", s)
print(res.group())

# re.match()
# match是从头开始匹配
res = re.match("\d+", "10086,我女朋友的电话是:10010")
res.group()

# re.compile()
# 预加载正则表达式
obj = re.compile("\d+")
res = obj.findall(s)
res

# (?P<分组名字>正则表达式)
# 使用这个可以进一步从正则匹配的内容中进一步提取内容
S = """
<div class='jay'><span id='1'>郭麒麟</span></div>
<div class='jj'><span id='2'>宋铁</span></div>
<div class='jolin'><span id='3'>大聪明</span></div>
"""
obj = re.compile(r"<div class='.*?'><span id='(?P<id>\d+)'>(?P<name>.*?)</span></div>", re.S)  # re.S可以使得.匹配到换行符

result = obj.finditer(S)
for it in result:
    print(it.group("id"))
    print(it.group("name"))