requests + bs4 爬取豆瓣 top250 电影信息

最新推荐文章于 2022-03-15 10:34:10 发布

尉迟海棠

最新推荐文章于 2022-03-15 10:34:10 发布

阅读量910

点赞数

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/gyk0812/article/details/117390096

版权

本文介绍了如何结合requests库和BeautifulSoup库爬取豆瓣电影Top250列表中的电影信息，包括电影名称、评分、简介等，详细解析了爬虫流程和关键代码实现。

摘要由CSDN通过智能技术生成

"""
爬取豆瓣top250个电影
"""
import requests
import bs4
import re


def open_url(url):
    headers = {
   'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'}
    res = requests.get(url, headers=headers)
    return res


def find_movies(res):
    """
    使用bs4 对网页内容进行解析
    :param res:
    :return:
    """
    soup = bs4.BeautifulSoup(res.text, 'html.parser')
    # 电影名
    movies = []
    targets = soup.find_all('div'</