python爬虫爬取电影信息

'''
  豆瓣电影 top250 抓取电影信息，存到excel里面
  使用requests爬取网页，使用bs4解析数据，使用pandas将数据存入Excel
  目标网页：https://movie.douban.com/top250
  仅供学习，不得用于违法用途
'''

import requests
from bs4 import BeautifulSoup
import pandas as pd

hearders = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"
}

url = "https://movie.douban.com/top250"


def crawl_html(url):
    '''
    解析请求，爬取网页
    :param url:请求地址
    :return:返回的网页源码
    '''
    response = requests.get(url=url, headers=hearders)
    return response.text


# print(crawl_html(url))


def parse_html(html):
    """
    解析网页源码
    :param html:页面源码
    :return:页面 电影信息列表 []
    """
    # 实例化soup
    soup = BeautifulSoup(html, "lxml")
    # 获取所有电影列表
    movie_list = soup.select("ol.grid_view li")
    # print(movie_list)
    # 电影数据对象列表
    movie_data_list = []
    for movie in movie_list:
        try:
            rank = movie.select_one("div.pic em").text  # 获取排名
            title = movie.select_one("div.info span.title").text  # 获取电影名称
            info = movie.select_one("div.bd p").text.strip()  # 获取电影描述信息
            rating_num = movie.select_one("div.star span.rating_num").text  # 获取评分
            comment_count = movie.select("div.star span")[3].text.replace("人评价", "")  # 获取电影评价人数
            quote = movie.select_one("p.quote span.inq").text  # 获取电影描述
            movie_data_list.append({
                "rank": rank,
                "title": title,
                "info": info,
                "rating_num": rating_num,
                "comment_count": comment_count,
                "quote": quote
            })
        except:
            continue

    return movie_data_list


def export_excel(datas):
    '''
     导出数据到excel
    :param datas: 数据
    :return:
    '''
    df = pd.DataFrame(datas)
    df.to_excel("豆瓣电影TOP250.xlsx")


# 执行爬取操作
export_excel(parse_html(crawl_html(url)))

以上代码是学习小峰博主视频编写