使用selenium爬取当当网图书

最新推荐文章于 2024-03-12 17:01:14 发布
VIP文章 最新推荐文章于 2024-03-12 17:01:14 发布
阅读量1.9k 收藏 11
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangde0703/article/details/79376468
版权

1.目标
利用Selenium抓取当当网图书并用正则表达式获取到得到商品的图片、名称、价格、评论人数信息。
2.开发环境
python2.7 +windows10 +pycharm
3.页面分析
如图，其中包含商品的图片、名称、价格、评论人数信息。
抓取入口就是当当网主页，主页链接可以通过直接构造参数访问。然后在搜索框中输入“日语” ，呈现的就是第一页的搜索结果。

在页面下方，有一个分页导航，其中既包括前6页的链接，也包括下一页的链接，同时还有一个任意页码跳转的链接，如下图所示。

商品的搜索结果为100页，要获取每一页的内容，只需要将页码从1到100顺序遍历即可，页码数是确定的。所以，直接输入要跳转的页码，即可跳转到页码对应的页面。

相对输入跳转页码而不直接点击“下一页”的理由是：一旦爬取过程中出现异常退出，比如到50页退出了，此时继续点击“下一页”，就无法快速切换到对应的后续页面。并且，在爬取过程中，同时需要记录当前的页码数，一旦点击“下一页”之后页面加载失败，就需要做异常检测，通过检测才能判断当前加载页面的页码数。导致运行时间增加，能效降低，所以选取输入页码跳转的方式来
最低0.47元/天 解锁文章
wangde0703
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Python爬虫学习笔记 (13) [中级] 动态网页处理 selenium 1+ 当当网图书清单 (下拉滚动条加载页面)
AliceTime11的博客
04-06 318
更新日期: 2021.04.05 本节学习内容 ： 处理动态网页的利器 selenium~ 目录1. selenium是什么？为什么比requests慢？ 1. selenium是什么？为什么比requests慢？ selenium是一套web测试系统，包含了测试的录制，编写和运行，以及测试的并行处理。支持多种主流浏览器。 selenium被应用在爬虫中，是因为它可以模拟人的操作来驱动浏览器，完成加载动态网页所要求的点击和下拉等动作，以获取网页的完整代码。selenium驱动浏览器操作的过程是可以在网页
用selenium爬当当网商品信息
qq_31478667的博客
04-13 694
【项目介绍】参考崔庆才老师《Python3网络爬虫开发实战》第七章动态渲染页面爬取里爬淘宝网的实例，由于现在淘宝网查找需要先登录，故用当当网进行尝试。 1.动态加载页面的判断？ F12→找到对应url的response，看到返回的页面是一个网页框架，并没有出现商品信息，以此我们可以大致判断是异步加载（注意，在network里看response的html，不要在element里看，这里返回的才是最真...
基于selenium框架对当当网图书相关数据爬取
qq_46016629的博客
01-29 770
主要用到了爬虫中selenium框架对悬疑类小说的主标题、副标题、作者、出版社、出版时间、价格及书籍相关信息及评论数的爬取
Python之动物世界第二弹
DC5621的博客
03-12 510
Python 中的 Matplotlib、Seaborn 等库就像是画家的画笔，让我们能够绘制出精美的图表，展示数据的奥秘。我们可以根据具体的需求选择合适的库，就像在动物世界中选择适合的伙伴一样。无论是处理数据、构建网站、进行机器学习，还是探索其他领域，Python 都提供了丰富的工具和方法，让我们能够像动物们在各自的环境中生存和繁衍一样，在编程的世界中创造出各种有趣和有用的作品。Python 就像动物世界一样多样和奇妙😄 每种编程概念和技术都有其独特的特点和用途，就像不同动物的特征和生存方式一样。
分析微博游戏名人数据
qq_36523007的博客
12-25 8582
分析微博游戏名人数据 昨天我们爬取了微博游戏名人的信息，包括名字，关注量，粉丝量，微博量，地址和简介，今天我们就分析下它们的地址信息和简介 ...
电影评论爬取与分析
V_lq6h的博客
05-21 1457
用户电影评论分析 from snapshot_selenium import snapshot as driver from pyecharts.render import make_snapshot from pyecharts.globals import CurrentConfig,NotebookType CurrentConfig.NOTEBOOK_TYPE=NotebookType.JUPYTER_LAB import pandas as pd import json datas=[
Python爬取当当、京东、亚马逊图书信息代码实例
09-21
主要介绍了Python爬取当当、京东、亚马逊图书信息代码实例，具有一定借鉴价值，需要的朋友可以参考下。
2023最新当当网爬取书籍信息python源代码，使用selenium库动态爬取！欢迎各位学习交流！
qq_53862860的博客
12-09 1055
其他版本或可，但4.0以上版本不支持。
Python爬虫——selenium爬取当当畅销图书排行
霖hero
08-30 2917
前言 上上篇文章我们爬取了今日头条街拍美图，好了，心情愉悦完了，这篇文章我们使用Selenium来爬取当当网的畅销图书排行。正所谓书中自有黄金屋，书中自有颜如玉，我们通过读书学习来提高自身的才华，自然能有荣华富贵,也自然少不了漂亮小姐姐。 准备工作 在爬取数据前，我们需要安装好Python的Selenium库和Chrome浏览器并配置好ChromeDriver。 Selenium Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获得浏览器当前
python爬取dangdang指定图书数据
01-02
使用python selenium爬取当当网商品搜索相关结果，并下载图片，写入xls、保存到mongo数据库
Python selenium爬取微信公众号文章代码详解
09-16
主要介绍了Python selenium爬取微信公众号历史文章代码详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
使用selenium爬取拉钩网
02-16
使用selenium爬取拉钩网
使用selenium爬取拉勾网
09-24
使用selenium技术爬取拉勾网中python开发职位的薪资，工作地点，学历要求
dongfangyanbao:使用 scrapy-selenium 爬取爬取东方财富网的所有个股研报信息
04-27
东方财富网个股研报信息爬虫说明文档介绍东方财富网爬虫是一个基于Scrapy-Selenium框架爬取东方财富网的个股研报标题、个股信息以及收益的爬虫。代码说明运行环境Windows 10 专业版Python 3.5/Scrapy 1.5.0/MongoDB ...
python3+selenium爬取百度图片
12-21
python3+selenium爬取百度图片 from selenium import webdriver from lxml import etree from urllib import request import time class Baidu_pic(object): def __init__(self,kw): self.kw = kw options = ...
Linux操作系统相关习题集
04-25
Linux操作系统相关习题集，包含常用名、Linux系统基础知识等
基于java的-30-「计算机毕业设计」基于net的湖南特产销售网站-源码.zip
04-25
提供的源码资源涵盖了Java应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。 适用人群： 适合毕业设计、课程设计作业。这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。 使用场景及目标： 在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。 其他说明： 为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。 所有源码均经过严格测试，可以直接运行，可以放心下载使用。有任何使用问题欢迎随时与博主沟通，第一时间进行解答！
JVM+Java程序运行过程内存分配图解
最新发布
04-25
1、JVM 内存分配图解的 Visio 工程图。 2、直接下载使用、可自行调整和修改
servlet获取单个商品详细信息
05-19
要获取单个商品的详细信息，可以使用以下步骤： 1. 在servlet中获取商品的ID参数，可以从请求的URL中获取或从请求参数中获取。 2. 使用商品ID查询数据库，获取商品的详细信息。这些详细信息可能包括商品名称、描述、价格、图片等。 3. 将商品详细信息存储在request对象中，以便在JSP页面中显示。 4. 转发请求到JSP页面，以显示商品详细信息。 下面是一个简单的例子： ```java @WebServlet("/product") public class ProductServlet extends HttpServlet { protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { // 获取商品ID参数 int productId = Integer.parseInt(request.getParameter("id")); // 查询数据库获取商品详细信息 Product product = getProductById(productId); // 将商品详细信息存储在request对象中 request.setAttribute("product", product); // 转发请求到JSP页面 RequestDispatcher dispatcher = request.getRequestDispatcher("/product.jsp"); dispatcher.forward(request, response); } // 通过商品ID查询数据库获取商品详细信息 private Product getProductById(int productId) { // TODO: 实现查询数据库的逻辑 return null; } } ``` 在JSP页面中，可以使用EL表达式(`${product.name}`)来显示商品的详细信息： ```jsp <%@ page contentType="text/html;charset=UTF-8" language="java" %> <html> <head> <title>商品详情</title> </head> <body> <h1>${product.name}</h1> <p>${product.description}</p> <p>价格：${product.price}</p> <img src="${product.image}" alt="${product.name}"> </body> </html> ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值