爬虫二：获取豆瓣电影Top250（Requests+XPath+CSV）

最新推荐文章于 2024-06-24 14:52:41 发布

Ceres爱吃鱼

最新推荐文章于 2024-06-24 14:52:41 发布

阅读量3k

点赞数 2

分类专栏： Python 文章标签：爬虫 Python

本文链接：https://blog.csdn.net/u013378642/article/details/80952849

版权

描述：

在上一篇获取豆瓣图书Top250的基础上，获取豆瓣电影Top250的数据并将结果写入CSV文件中。

代码：

# -*- coding: UTF-8 -*-
import requests
from lxml import etree
import time
import csv

# 从网页上获取电影数据
moviedata = []
count = 0
for i in range(10):
    url = 'https://movie.douban.com/top250?start=' + str(25*i)
    data = requests.get(url).text
    html = etree.HTML(data)
    movies = html.xpath('//*[@id="content"]/div/div[1]/ol/li')
    for movie in movies:
        title = movie.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]
        director_actor = movie.xpath('./div/div[2]/div[2]/p[1]/text()')[0].strip('\n').strip('\xa0')
        type_region_year = movie.xpath('./div/div[2]/div[2]/p[1]/text()')[1].strip('\n').strip('\xa0')
        score = movie.xpath('./div/div[2]/div[2]/div/sp