Jupyter noteook爬取猫眼top部电影（正则表达式）

正则表达式

正则表达式是对字符串操作的一种逻辑公式，通过一些特定的字符或特定字符的组合对字符串进行定位、筛选。在爬取网页信息时通常会找出在元素中的逻辑，再应用正则表达式进行过滤。
例如，我们要获取主演信息（徐峥，周一围，王传君），定位到

,构造正则表达式，c = re.findall(’.?主演：(.?)\n’,result,re.S),
re.findall函数查找符合要求的所有元素;使用re.S，正则表达式会将字符串作为一个整体，在整体中进行匹配，否则，只在一行内进行匹配，如果一行中没有，就换下一行重新开始，所以一般不容易匹配到结果。

整体代码

import requests
import re
import csv
mov_list=[]
for i in range(10):
    url="https://www.maoyan.com/board/4?offset="+str(i*10)
    headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62"}
    try:
        response=requests.get(url,headers=headers)
        response.encoding='utf-8'
    except RequestException:
        print("获取错误")
    result= response.text
    pattern = re.compile('.*?board-index.*?>(\d+)</i>'+ '.*?title="(.*?)" class' + 
                     '.*?主演：(.*?)\\n' + '.*?上映时间：(.*?)</p>'+'.*?integer">(.*?)</i>'+
                    '.*?fraction">(.*?)</i>',re.S)
    items=re.findall(pattern,result)
    for i in range(len(items)):
        mov_info = list(items[i])
        mov_info[4]=mov_info[4]+mov_info[5]
        mov_info.pop()
        mov_list.append(mov_info)
with open('result.text','w',newline="",encoding='utf-8') as f:##或者encoding='utf-8-sig'
    fieldname = ['rank','name','actor','releasetime','score']
    writer = csv.writer(f)
    writer.writerow(fieldname)
    for row in mov_list:
        writer.writerow(row)