Pythone（学习笔记） Request 豆瓣网页排行榜

最新推荐文章于 2024-06-26 09:40:01 发布

新人小林

最新推荐文章于 2024-06-26 09:40:01 发布

阅读量196

点赞数

文章标签： servlet

本文链接：https://blog.csdn.net/adsl0359/article/details/126233906

版权

该代码示例展示了如何利用Python的requests和re库抓取豆瓣电影Top250排行榜的数据，并将其整理成CSV文件。首先，设置User-Agent以模拟浏览器请求，然后通过while循环实现翻页，每页抓取25条信息。正则表达式用于从HTML源代码中提取电影名称、年份和评分等关键信息，最后利用csv模块将数据写入CSV文件。整个过程自动化处理了网页抓取和数据存储，方便后续分析。

摘要由CSDN通过智能技术生成

使用request 抓取排行榜，同时将数据内容写入CSV 形成表格文件
#首先检查数据是否存放在页面源代码
#抓取页面源代码
#通过RE正则表达式获取数据
import requests
import re
import csv
page=0
i=0
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36"

}

f=open("排行榜.csv",mode='w') #创建并打开文件
csvwriter=csv.writer(f)
csvwriter.writerow(( '名称','年份', '评分'))#写入表头

#使用while大循环，控制翻页，每页有25条信息
while i<10:
    page = i*25
    URL = 'https://movie.douban.com/top250?start=' + str(page) + '&filter='#拼接URL

    resp = requests.get(URL,headers=headers) #请求页面源代码
    html= resp.text #保存源代码
    #正则表达式
    obj=re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<电影名称>.*?)</span>.*?'
                   r'<p class="">.*?<br>(?P<年份>.*?)&nbsp.*?<span class="rating_num" property="v:average">(?P<评分>.*?)</span>',re.S)

    result=obj.finditer(html)#保存数据
    print("正在获取地%s页"%page)

        #使用for做小循环，将数据写入CSV文件
    for it in result: #写入CSV文件
        #print(i.group("电影名称"), i.group("年份").strip(),i.group("评分").strip())
        dic=it.groupdict()
        #dic['year']=dic['year'].strip()
        csvwriter.writerow(dic.values())
    i=i+1
f.close() #关闭文件
print("成功")