爬取豆瓣图书排行榜前十并使用图表的形式展示

最新推荐文章于 2022-05-19 11:44:27 发布

404无法访问

最新推荐文章于 2022-05-19 11:44:27 发布

阅读量365

点赞数

分类专栏： Python爬虫入门

本文链接：https://blog.csdn.net/difficultName/article/details/100123091

版权

本文介绍了使用Python中的requests模块爬取豆瓣图书排行榜前十名的方法，适合初学者了解爬虫基础。提供了获取Python学习资料的联系方式。

摘要由CSDN通过智能技术生成

爬取豆瓣图书

最近在学习爬虫的基础使用，发现最好爬的网站就是豆瓣了，随随便便都是可以爬到数据。
下面就是使用Python中间的requests模块实现豆瓣图书排行榜的爬取：

import requests
from lxml import etree
import urllib3
from matplotlib import pyplot as plt
import matplotlib
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['axes.unicode_minus'] = False
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"
}
url = 'https://book.douban.com/'
def get_url(url):
    dict_book = {}
    response = requests.get(url, verify=False).text
    response = etree.HTML(response)
    for i in range(0,10):
        ret = response.xpath('//*[@id="content"]/div/div[1]/div[4]/div[2]/ul/li['+ str(i+1)+']/div[2]/h4/a