通过Python下载豆瓣top250电影

一、引言

最近在学习 Python 爬虫技术，并且正在尝试着使用爬虫来爬取网页信息。有一天，我有了这么一个想法：

 我想获得网页上电影的名字、评分、演职员、评分人数、网页链接这些我该怎么做呢？

二、代码

于是乎自己试着来敲代码，最终的结果如下：

import requests
from lxml import etree
from openpyxl import workbook
# 创建Excel文件
wb = workbook.Workbook()
ws = wb.active #激活当前表
ws.append(['影名','评分','演职员','评分人数','网页链接'])#添加表格题目

# 显示标头和网页链接
header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.57'
}
m_num=0
# 通过循环找出排名前250的电影
while m_num < 250:

    url = f'https://movie.douban.com/top250?start={m_num}&filter='
    # 获取网页数据
    resp = requests.get(url,headers=header)

    # 解析HTML
    html = etree.HTML(resp.text)

    #拿到每个电影列表的div
    divs = html.xpath('//*[@id="content"]/div/div/ol/li')
    # 每个电影列表信息
    for div in divs:
        # 定义影名、评分、演职员、评分人数、网页链接变量
        m_name = div.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]
        m_level = div.xpath('./div/div[2]/div[2]/div/span[2]/text()')[0]
        m_performer = div.xpath('./div/div[2]/div[2]/p/text()[1]')[0].strip()
        m_people = div.xpath('./div/div[2]/div[2]/div/span[4]/text()')[0].strip('人评价')
        m_link = div.xpath('./div/div[1]/a/@href')[0]
        # 添加到每个题目对应的表格
        ws.append([m_name,m_level,m_performer,m_people,m_link])
        wb.save('豆瓣top250.xlsx')#保存文件
    m_num += 25