爬取豆瓣TOP250个电影信息

最新推荐文章于 2024-08-19 09:26:20 发布

dodobibibi

最新推荐文章于 2024-08-19 09:26:20 发布

阅读量3.2k

点赞数

分类专栏： python 文章标签： BS4 python 豆瓣 top250

本文链接：https://blog.csdn.net/dodobibibi/article/details/87797956

版权

本文介绍了如何使用Python的BeautifulSoup库抓取豆瓣Top250电影的详细信息，包括电影名称、评分、评价人数及电影短评。

摘要由CSDN通过智能技术生成

要求：

url = “http://movie.douban.com/top250/”
需要获取的信息: 电影名称，电影评分，评价人数，电影短评

import re
import requests
from bs4 import BeautifulSoup

def get_content(url,):
    try:
        user_agent = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36"
        response = requests.get(url,  headers={'User-Agent': user_agent})
        response.raise_for_status()   # 如果返回的状态码不是200， 则抛出异常;
        response.encoding = response.apparent_encoding  # 判断网页的编码格式， 便于respons.text知道如何解码;
    except Exception as e:
        print("爬取错误")
    else:
        print(response.url)
        print("爬取成功!")
        return  response.content

def parser_content(htmlContent):
    # 实例化soup对象， 便于处理；
    soup = BeautifulSoup(htmlContent, 'html.parser&#