Pythone（学习笔记） Request 豆瓣网页排行榜

使用request 抓取排行榜，同时将数据内容写入CSV 形成表格文件
#首先检查数据是否存放在页面源代码
#抓取页面源代码
#通过RE正则表达式获取数据
import requests
import re
import csv
page=0
i=0
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36"

}

f=open("排行榜.csv",mode='w') #创建并打开文件
csvwriter=csv.writer(f)
csvwriter.writerow(( '名称','年份', '评分'))#写入表头

#使用while大循环，控制翻页，每页有25条信息
while i<10:
    page = i*25
    URL = 'https://movie.douban.com/top250?start=' + str(page) + '&filter='#拼接URL

    resp = requests.get(URL,headers=headers) #请求页面源代码
    html= resp.text #保存源代码
    #正则表达式
    obj=re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<电影名称>.*?)</span>.*?'
                   r'<p class="">.*?<br>(?P<年份>.*?)&nbsp.*?<span class="rating_num" property="v:average">(?P<评分>.*?)</span>',re.S)

    result=obj.finditer(html)#保存数据
    print("正在获取地%s页"%page)
​​​​​​​
        #使用for做小循环，将数据写入CSV文件
    for it in result: #写入CSV文件
        #print(i.group("电影名称"), i.group("年份").strip(),i.group("评分").strip())
        dic=it.groupdict()
        #dic['year']=dic['year'].strip()
        csvwriter.writerow(dic.values())
    i=i+1
f.close() #关闭文件
print("成功")