【爬虫】豆瓣电影爬取案例

直接上代码，仅供参考。

 

目标爬取数据是某地区的“正在上映”部分的数据，如下图：

完整代码如下：

#!/usr/bin/python
# -*- coding:utf-8 -*-
from lxml import etree
import requests
"""
目标：爬取豆瓣深圳地区的"正在上映"部分的数据
注意点：
1、如果网页采用的编码方式与默认猜测的不同，就会出现解码失败，需要手动解码
2、xpath解析方法
"""

headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_0_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36',
    'Referer': 'https://www.douban.com/'
}
url = "https://movie.douban.com/cinema/nowplaying/shenzhen/"
response = requests.get(url, headers=headers)
text = response.text
# 如果网页采用的编码方式与默认猜测的不同，就会出现解码失败，需要手动解码
# text = response.content.decode('utf-8')

# 解析数据
html = etree.HTML(text)

# "正在上映"的电影
ul = html.xpath("//ul[@class='lists']")[0]
# print(etree.tostring(ul, encoding='utf-8').decode('utf-8'))
lis = ul.xpath("./li")
movies = []
for li in lis:
    # 如果不加[0]，则结果为一个列表；加了[0]，结果为一个字符串
    title = li.xpath("@data-title")[0]   # 标题          获取属性值
    score = li.xpath("@data-score")[0]   # 评分          获取属性值
    image = li.xpath(".//img/@src")[0]   # 电影海报链接   //表示当前路径下的所有子孙，而不是直接子孙

    movie = {'title': title, 'score': score, 'image': image}
    movies.append(movie)

print(movies)