爬取当当网9月份图书畅销榜单数据

原创 于 2025-10-11 23:51:13 发布 · 336 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #爬虫 #pycharm

一、网址
点击进入：当当网9月份图书畅销榜

二、解析网页结构
1.判断网页规律

通过判断下面两个链接，只有最后的数字1改为了2，说明最后一个数字代表页数，这里我们可以使用以下代码进行翻页：

url = 'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-month-2025-9-1-{}'.format(page)

在这里插入图片描述
在这里插入图片描述

2.每个图书的结构组成
在这里插入图片描述

三、获取网页内容
1.向目标网址发请求

def get_html(self, page):
	url = 'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-month-2025-9-1-{}'.format(page)
	response = requests.get(url, headers=self.headers, timeout=10)

timeout的作用是：如果网页没有响应请求，设置10秒超时
2.设置网页返回内容的编码
在这里插入图片描述
网页的编码为：gb2312
设置网页编码格式：

response.encoding = 'gb2312'

3.获取网页内容

text = response.text

四、获取图书信息
1.下载XPath Tool插件

XPath Tool，是一个可以通过Xpath获取数据的小插件，我用的是edge浏览器，接下来是安装教程:>>
①：
在这里插入图片描述
如果点击之后，网页显示无法响应内容，多刷新几次就行了
②：
在这里插入图片描述

③：
在这里插入图片描述
④：
在这里插入图片描述
⑤：
在这里插入图片描述

安装成功

2.使用XPath Tool工具查看输入的xpath是否能够获取所有图书的信息
在这里插入图片描述

xpath路径：//ul[@class="bang_list clearfix bang_list_mode"]/li

XPath Tool成功获取了所有图书的信息，说明我们的xpath路径是对的

  1. 接下来获取单个图书的信息

这里我们先获取图书的书名：>>
在这里插入图片描述

XPath Tool成功获取到了第一本和第二本书籍的名字，说明Xpath路径正确
这是获取每个图书的信息代码：

# 获取书籍信息
    def get_info(self, html, num):
        # 将网页的内容从HTML转换为XML
        tree = etree.HTML(html)
        book_list = tree.xpath('//ul[@class="bang_list clearfix bang_list_mode"]/li')
        for book in book_list:
            # 书名
            name = book.xpath('.//div[@class="name"]/a/text()')
            # 作者
            author = book.xpath('.//div[@class="publisher_info"]/a/text()')
            # 推荐程度
            recommend = book.xpath('.//div[@class="star"]//span[@class="tuijian"]/text()')
            # 评论总数
            comment = book.xpath('.//div[@class="star"]/a/text()')
            # 出版社
            publisher = book.xpath('.//div[@class="publisher_info"][2]/a/text()')
            # 出版日期
            publish_date = book.xpath('.//div[@class="publisher_info"][2]/span/text()')
            # 原价
            price = book.xpath('.//div[@class="price"]//span[@class="price_r"]/text()')
            # 折扣价
            discount_price = book.xpath('.//div[@class="price"]//span[@class="price_n"]/text()')
            # 折扣比例
            discount_rate = book.xpath('.//div[@class="price"]//span[@class="price_s"]/text()')
            # 将返回字段中的空内容添加字段
            info = [
                name[0].strip() if name else '未知书名',
                author[0].strip() if author else '未知作者',
                recommend[0].strip() if recommend else '0%推荐',
                comment[0].strip() if comment else '0条评论',
                publisher[0].strip() if publisher else '未知出版社',
                publish_date[0].strip() if publish_date else '未知日期',
                price[0].strip() if price else '?',
                discount_price[0].strip() if discount_price else '¥0',
                discount_rate[0].strip() if discount_rate else '0折'
            ]
            self.ws.append(info)
        print('第{}页的数据获取完毕'.format(num))

五、将数据保存到excel文件中

    def __init__(self):
        self.wb = Workbook()
        self.ws = self.wb.active
        self.ws.title = '9月份畅销书排行榜'
        self.ws.append(['书名', '作者', '推荐程度', '评论总数', '出版社', '出版日期', '原价', '折扣价', '折扣比例'])
        self.headers = {
            'cookie': 'ddscreen=2; __permanent_id=20250424225904258407356457184867347; LOGIN_TIME=1751896512445; dest_area=country_id%3D9000%26province_id%3D111%26city_id%20%3D0%26district_id%3D0%26town_id%3D0; ddscreen=2; __rpm=...1760167541852%7C...1760167623048',
            'referer': 'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-month-2025-8-1-1',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Safari/537.36 Edg/140.0.0.0'
        }

这里的cookie和ua需要自己根据自己的情况去设置

六、完整代码

# 导包
import os
import requests
import time
import random
from lxml import etree
from tqdm import tqdm
from openpyxl import Workbook

class Spider:
    def __init__(self):
        self.wb = Workbook()
        self.ws = self.wb.active
        self.ws.title = '9月份畅销书排行榜'
        self.ws.append(['书名', '作者', '推荐程度', '评论总数', '出版社', '出版日期', '原价', '折扣价', '折扣比例'])
        self.headers = {
            'cookie': 'ddscreen=2; __permanent_id=20250424225904258407356457184867347; LOGIN_TIME=1751896512445; dest_area=country_id%3D9000%26province_id%3D111%26city_id%20%3D0%26district_id%3D0%26town_id%3D0; ddscreen=2; __rpm=...1760167541852%7C...1760167623048',
            'referer': 'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-month-2025-8-1-1',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Safari/537.36 Edg/140.0.0.0'
        }

    # 获取网页的内容
    def get_html(self, page):
        url = 'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-month-2025-9-1-{}'.format(page)
        # 设置间隔时间，防止被反爬
        time.sleep(random.uniform(1, 3))
        try:
            # 向网页发起请求
            response = requests.get(url, headers=self.headers, timeout=10)
            # 设置编码(根据网页的charset设置)
            response.encoding = 'gb2312'
            text = response.text
            return text
        except Exception as e:
            print(f'错误：{e}')
            time.sleep(random.uniform(2, 5))
            return None

    # 获取书籍信息
    def get_info(self, html, num):
        # 将网页的内容从HTML转换为XML
        tree = etree.HTML(html)
        book_list = tree.xpath('//ul[@class="bang_list clearfix bang_list_mode"]/li')
        for book in book_list:
            # 书名
            name = book.xpath('.//div[@class="name"]/a/text()')
            # 作者
            author = book.xpath('.//div[@class="publisher_info"]/a/text()')
            # 推荐程度
            recommend = book.xpath('.//div[@class="star"]//span[@class="tuijian"]/text()')
            # 评论总数
            comment = book.xpath('.//div[@class="star"]/a/text()')
            # 出版社
            publisher = book.xpath('.//div[@class="publisher_info"][2]/a/text()')
            # 出版日期
            publish_date = book.xpath('.//div[@class="publisher_info"][2]/span/text()')
            # 原价
            price = book.xpath('.//div[@class="price"]//span[@class="price_r"]/text()')
            # 折扣价
            discount_price = book.xpath('.//div[@class="price"]//span[@class="price_n"]/text()')
            # 折扣比例
            discount_rate = book.xpath('.//div[@class="price"]//span[@class="price_s"]/text()')
            # 将返回字段中的空内容添加字段
            info = [
                name[0].strip() if name else '未知书名',
                author[0].strip() if author else '未知作者',
                recommend[0].strip() if recommend else '0%推荐',
                comment[0].strip() if comment else '0条评论',
                publisher[0].strip() if publisher else '未知出版社',
                publish_date[0].strip() if publish_date else '未知日期',
                price[0].strip() if price else '?',
                discount_price[0].strip() if discount_price else '¥0',
                discount_rate[0].strip() if discount_rate else '0折'
            ]
            self.ws.append(info)
        print('第{}页的数据获取完毕'.format(num))

    # 整合功能模块
    def run(self):
        for i in range(1, 27):
            html = self.get_html(i)
            # 判断返回内容是否成功
            if html:
                self.get_info(html, i)
            else:
                print('无法获取网页内容！！！')
        self.wb.save('当当网9月份畅销书排行榜.xlsx')

if __name__ == '__main__':
    # 实例化类
    DDW = Spider()

    # 运行程序
    DDW.run()

    print('所有数据已经获取完成！！！')

七、数据成果
在这里插入图片描述

八、结尾

以上就是关于当当网9月份图书畅销榜单的数据获取的代码，如果有不懂的，欢迎在评论区留言或者私信我

当当网书籍数据爬取及可视化分析
m0_64212248的博客
04-16 2776
提取书名df['书名'] = df['标题'].apply(lambda x:x.split('（')[0])# 提取书籍简介df['书籍简介'] = df['标题'].str.extract('.*?（(.*?)）')# 如果为空，用True替代df['书籍简介'].fillna('无', inplace=True)# 提取评论数df['评论数'] = df['评论'].astype('int64')df.head(1)
python 爬取当当网图书榜
jamesP777的博客
07-13 545
首先查看当当网好评书单页面，找到翻页的URL参数。找到想要的信息，使用正则表达式把这些信息提取出来。直接用requests请求页面。打印出来看看是否提取到。把信息保存下来就可以了。
请用Python写一个爬虫程序，爬取当当网图书畅销榜数据
weixin_42581846的博客
02-03 874
好的，下面是一个简单的 Python 爬虫代码，可以爬取当当网图书畅销榜数据： import requests from bs4 import BeautifulSoup url = "http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1" response = requests.get(url)...
python#数据分析#当当网畅销图书榜单
RX0117的博客
11-11 715
pandas+pyecharts当当网畅销图书榜单数据可视化分析
【46 Pandas+Pyecharts | 当当网畅销图书榜单数据分析可视化】
Python当打之年
07-16 2042
利用 python 分析当当网图书畅销榜单（2020-2023）数据，看看哪些作者的图书最畅销、哪些年份的图书上榜最多、上榜图书的价格分布、评论分布以及出版社分布等
数据分析：当当网近4年各类图书畅销图书榜单数据可视化
小菜鸟一枚
11-06 3306
在数字化时代，图书销售数据为我们提供了洞察读者喜好和市场趋势的窗口。本文将通过分析当当网近4年的各类图书畅销榜单数据，使用数据可视化技术，揭示不同类型图书的市场表现和读者偏好。我们将使用Python编程语言，结合Pyecharts库，对数据进行处理和可视化展示。
当当网图书畅销榜单（2020-2023）.zip
11-26
首先，我们了解到这是一个关于图书畅销榜单的数据集，这个数据集的来源是当当网，一个知名的中文图书销售平台。数据集的时间跨度涵盖了从2020年到2023年，这四年的时间范围说明了其具有一定的时效性和涵盖了一个完整...
爬取当当网图书畅销榜单数据
01-19
为了实现对当当网图书畅销榜单的数据抓取，可以采用Scrapy框架来构建爬虫程序。此过程涉及定义项目结构中的`items.py`文件以规定所需提取的信息字段；利用`middlewares.py`和`pipelines.py`分别配置请求中间件与数据...
基于Python Scrapy实现的爬取豆瓣读书9分榜单的书籍数据采集爬虫系统 含数据集和全部源代码
07-10
基于Python Scrapy实现的爬取豆瓣读书9分榜单的书籍数据采集爬虫系统 含数据集和全部源代码 # -*- coding: utf-8 -*- import scrapy import re from doubanbook.items import DoubanbookItem class DbbookSpider...
Django REST Framework 全面指南：从模型到完整API接口开发
qq_16226939的博客
10-08 615
Django REST Framework是Django的强大API开发工具包。它通过序列化器实现数据转换与验证，视图集自动生成标准RESTful端点，支持完整的CRUD操作。内置认证、权限、分页和过滤功能，配合路由配置可快速构建规范API。这种高度封装的设计大幅提升开发效率，保持代码整洁可维护，是构建高质量Web服务的理想选择。
冲刺校招 打卡 day04
chao_789的博客
10-09 638
qa小趴菜，python开发学习中，实习在职，努力冲刺校招！
JAVA的便利化书写总结
weixin_42668920的博客
10-10 439
Function<String,String> f是一个函数式接口，本质是一个接口，包含一个只声明，未定义的函数apply，实现接受一个T参数，返回R参数，具体定义由实现该接口的类给出。总结：由上面的例子代码可见方法引用，lambda表达式其本质作用是，使用一个实现某个接口的类的时候，重构该接口的接口函数，使用方法引用，lambda表达式可以简化书写。为追求代码的简洁性，JAVA就有了一些列便利化的书写，如lambda表达式，方法引用等，不熟悉的情况下，往往和看天书差不多。
Django ORM 详解
2301_76989410的博客
10-07 807
本文详细介绍了Django ORM的核心概念与应用。Django ORM通过对象关系映射技术，将数据库表结构映射为Python类，使开发者能够以面向对象方式操作数据库，避免了直接编写SQL语句。文章从模型定义、数据库迁移等基础操作入手，重点讲解了CRUD操作（增删改查）的实现方法，包括查询过滤、链式调用、批量操作等技巧。同时介绍了高级查询功能如Q对象、F表达式、聚合分组等，并强调了N+1查询等性能优化点。Django ORM极大简化了数据库操作流程，是Web开发中提升效率的重要工具。
基于Ensemble的欧洲杯赛事预测（Streamlit应用）
XiaoMu_001的博客
10-08 1137
基于Ensemble的欧洲杯赛事预测（Streamlit应用）
Agentic AI 教程与 AI 编程入门：从基础到实战（含代码、流程图与 Prompt）
zzywxc787的博客
10-11 616
《AgenticAI编程教程：从基础到实战》摘要 本教程系统讲解AgenticAI（自主智能体AI）编程的核心原理与实践方法。区别于传统AI辅助编程，AgenticAI具备目标导向、工具调用、记忆能力和反馈迭代四大特征，能独立完成代码生成、调试、测试全流程。
Python简介与入门-CSDN博客
10-07 728
Python由荷兰人Guido van Rossum于1989年开发，并于1991年首次发布。Python语言的设计哲学强调代码的可读性和简洁性，这使得它成为了初学者和资深开发者的首选语言之一。Python的语法清晰、简洁，同时支持多种编程范式，包括面向对象编程、函数式编程和结构化编程。Python的应用领域非常广泛，几乎涵盖了所有的软件开发领域。无论是Web开发、数据分析、人工智能、机器学习、自动化运维还是科学计算，Python都可以轻松胜任。
【VSCode】Visual Studio Code
bryant_meng
10-08 966
可以编辑和预览 markdown。
arcgis矢量数据转为标准geojson格式
你们瞎搞
10-09 325
摘要：获取GeoJSON格式数据的方法包括：1）ArcMap 10.6+/ArcGIS Pro直接导出；2）通过FeatureService接口获取；3）对于低版本ArcMap，需先导出Esri FeatureSet JSON格式，再使用Python脚本转换为GeoJSON。转换脚本支持批量处理，将输入文件夹中的.json文件转换为标准GeoJSON格式并输出到指定目录。操作简单，只需在命令行执行指定命令即可完成转换。
python(48) : 命名截图[Windows工具(3)]
最新发布
Lxinccode的博客
10-11 156
边框颜色：边框宽度：遮罩透明度SAVE_DIR：保存目录（默认：name_screenshots）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值