爬虫3：re正则表达式获取数据

在上一章中，我们基本上掌握了抓取整个网页的基本技能.但是呢，大多数情况下，我们并不需要整个网页的内容,只是 需要那么一小部分，怎么办呢？这就涉及到了数据提取的问题.
本课程中，提供三种解析方式： 1.re解析 2.bs4解析 3.xpath解析
这三种方式可以混合进行使用，完全以结果做导向，只要能拿到你想要的数据.用什么方案并不重要，当你掌握了这些之 后.再考虑性能的问题.

re模块

import re

# findall：找到所有匹配的内容
lst = re.findall(r'\d+', '123abc456')  # ['123', '456']

# finditer: 匹配字符串中所有的内容，返回一个迭代器，迭代器中拿到内容需要.group()
it = re.finditer(r'\d+', '123abc456')
# for i in it:
#     print(i.group())  # 123  456

# search返回结果是match对象，需要.group()获取内容，找到第一个结果
s = re.search(r'\d+', 'abc123def456')
# print(s.group())

# match是从头开始匹配，如果开头没有匹配的内容，返回None；就是固定第一个字符开始匹配
s = re.match(r'\d+', '123abc456')

# 预加载正则表达式
obj = re.compile(r'\d+')

ret = obj.finditer('abc123def456')

# (?P<分组名字>正则表达式) 可以单独从正则匹配的内容中提取出想要的内容
obj = re.compile(r'<div class=\'(.*?)\'>(?P<wahaha>.*?)</div>', re.S)
res = obj.finditer('<div class=\'123\'>哈哈哈哈</div>')
for it in res:
    print(it.group('wahaha'))

经典豆瓣电影练手

import requests
import re

url = 'https://movie.douban.com/top250'
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0",

}
resp = requests.get(url, headers=headers)

page_content = resp.text

obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)</span>.*?'
                 r'<p class="">.*?<br>.*?(?P<year>.*?)&nbsp.*?<span class="rating_num" property="v:average">'
                 r'(?P<score>.*?)</span>.*?<span>(?P<num>.*?)人评价</span>', re.S)


result = obj.finditer(page_content)
data = []
for it in result:
    ele = []
    ele.append(it.group('name'))
    ele.append(it.group('year').strip())
    ele.append(it.group('score'))
    ele.append(it.group('num'))
    data.append(ele)

    dic = it.groupdict()  # 变字典方便写入文件

print(data)
resp.close()

电影天堂，代码需要小小修改，有些问题

import requests

# import urllib.request
# import http.cookiejar


# filename = 'cookie.txt'
#
# cookie = http.cookiejar.MozillaCookieJar(filename)
#
# handler = urllib.request.HTTPCookieProcessor(cookie)
#
# opener = urllib.request.build_opener(handler)
# response = opener.open("https://www.dytt89.com")
# cookie.save(ignore_discard=True, ignore_expires=True)

domain = 'https://www.dytt89.com'


headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0",
    "cookie":'xxx'
}


resp = requests.get(domain,headers=headers, verify=False)
resp.encoding = 'gb2312' # 指定字符集
# 去掉安全验证

result1 = obj1.finditer(resp.text)
child_href_list =[]
for it in result1:
    ul = it.group(m)
    result2 = obj2.finditer(ul)
    for itt in result2:
        child_href = domain + itt.group(hme).strip("/")
        child_href_list.append(child_href)#把子页面ứ报保存起来

# 再次访问子页面爬
resp.close()