【菜鸟学Python】使用Xpath爬取豆瓣读书

最新推荐文章于 2022-01-18 17:13:33 发布

weixin_30611509

最新推荐文章于 2022-01-18 17:13:33 发布

阅读量408

点赞数

文章标签： python json

原文链接：http://www.cnblogs.com/liduo0413/p/11451687.html

版权

本文面向Python初学者，详细介绍了如何利用Xpath解析技术从豆瓣读书网站上抓取数据。通过实例教程，读者将学会如何进行面向对象的网页爬取操作。

摘要由CSDN通过智能技术生成

方法一：使用面向过程爬取1.0

import json
import requests
from lxml import etree

url = "https://www.douban.com/doulist/1264675/?start=0"
response = requests.get(url).content.decode()
dom = etree.HTML(response)
books = dom.xpath('//div[@class="article"]/div[@class="doulist-item"]')
with open('book.json', 'w', encoding='utf-8')as f:
    for book in books:
        item = {}
        item['title'] = book.xpath('normalize-space(.//div/div[2]/div[3]/a/text())')
        item['author'] = book.xpath('normalize-space(.//div/div[2]/div[5]/text()[1])')
        item['year'] = book.xpath('normalize-space(.//div/div[2]/div[5]/text()[3])')
        item['rank'] = book.xpath('normalize-space(.//div/div[2]/div[4]/span[@class="rating_nums"]/text())')
        f.write(json.dumps(item, ensure_ascii=False) + ',\n')