爬取豆瓣评分前50的电影信息

最新推荐文章于 2025-03-09 11:15:59 发布

Carol_小菜鸟

最新推荐文章于 2025-03-09 11:15:59 发布

阅读量2.1k

点赞数 2

分类专栏：爬虫文章标签： python

本文链接：https://blog.csdn.net/weixin_42213622/article/details/105852987

版权

该项目利用Python的requests、BeautifulSoup和openpyxl库，抓取并解析豆瓣评分最高的50部电影的详细信息，包括电影名称、评分、评价人数和短评，最后将数据导出到Excel表格进行存储。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

项目描述
内容模块
代码区
运行测试

项目描述

根据豆瓣评分排名，获取豆瓣评分前50的电影信息。主要包括：电影名称、电影评分、评价人数和电影短评信息，并存储到本地表格文件。

内容模块

使用requests获取页面信息。使用BeautifulSoup结合正则表达式解析页面，获取所需要的电影名称、电影评分、评价人数、电影短评等信息。然后使用openpyxl模块将信息保存到新建的excel表格中。

代码区

import re

import requests
from bs4 import BeautifulSoup

def get_content(url,):
    try:
        user_agent = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36"
        response = requests.get(url,  headers={
   'User-Agent': user_agent})
        response.raise_for_status()   # 如果返回的状态码不是200， 则抛出异常;
        response.encoding = response.apparent_encoding  # 判断网页的编码格式， 便于respons.text知道如何解码;
    except Exception as e:
        print("爬取错误")
    else:

        print(response.url)
        print("爬取成功!")
        return  response