selenium爬取京东商品信息_Python爬虫系列(十三) 用selenium爬取京东商品

最新推荐文章于 2024-09-30 09:30:48 发布
最新推荐文章于 2024-09-30 09:30:48 发布
阅读量384 收藏 1
点赞数
文章标签： selenium爬取京东商品信息
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39951396/article/details/113317056
版权
本文介绍如何利用selenium模拟浏览器行为，爬取京东笔记本商品的ID、价格、名称和评论人数。首先分析网页结构，发现网页动态加载，通过下拉触发加载更多商品。接着模拟翻页，找到翻页元素并点击。最后解析页面，提取所需数据，并给出代码实现中需要注意的几点，如处理浏览器加载延迟和选择元素的方法。
摘要由CSDN通过智能技术生成

这篇文章，我们将通过 selenium 模拟用户使用浏览器的行为，爬取京东商品信息，还是先放上最终的效果图：

0ee4b5f73740019d33a2332a8aa925e4.png

1、网页分析

（1）初步分析

原本博主打算写一个能够爬取所有商品信息的爬虫，可是在分析过程中发现，不同商品的网页结构竟然是不一样的

所以，后来就放弃了这个想法，转为只爬取笔记本类型商品的信息

如果需要爬取其它类型的商品信息，只需把提取数据的规则改变一下就好，有兴趣的朋友可以自己试试看呀

好了，下面我们正式开始！

首先，用 Chrome 浏览器打开 笔记本商品首页，我们很容易发现该网页是一个 动态加载 的网页

因为刚打开网页时只会显示 30 个商品的信息，可是当我们向下拖动网页时，它会再次加载剩下 30 个商品的信息

这时候我们可以通过 selenium 模拟浏览器下拉网页的过程，获取网站全部商品的信息

>>> browser.execute_script("window.scrollTo(0,document.body.scrollHeight)")

5e302887c69f03ce99616f9dbd0e1305.png

（2）模拟翻页

另外，我们发现该网站一共有 100 个网页

我们可以通过构造 URL 来获取每一个网页的内容，但是这里我们还是选择使用 selenium 模拟浏览器的翻页行为

下拉网页至底部可以发现有一个 下一页 的按钮，我们只需获取并点击该元素即可实现翻页

>>> browser.find_element_by_xpath('//a[@class="pn-next" and @onclick]').click()

2ef09370439aaae5bddcaeeb0fd005cc.png

（3）获取数据

接下来，我们需要解析每一个网页来获取

最低0.47元/天 解锁文章
weixin_39951396
关注
python爬虫爬取京东商品评价_python爬取京东商品信息及评论
weixin_28728031的博客
02-10 3619
'''爬取京东商品信息:功能: 通过chromeDrive进行模拟访问需要爬取的京东商品详情页(https://item.jd.com/100003196609.html)并且程序支持多个页面爬取，输入时以逗号分隔，思路: 创建webdriver对象并且调用get方法请求url,进入页面根据dom结构爬取一些简要信息，之后通过模拟点击商品评价按钮，再分别解析没个用户的评价信息，到每页的底部时，模拟...
selenium登录爬取京东商品信息（python爬虫例子）
04-27
selenium模拟登录京东，输入商品名，自动获取商品信息和链接
python爬虫可以爬取哪些有用的东西_Python爬虫系列(十三) 用selenium爬取京东商品...
weixin_39861955的博客
12-03 682
这篇文章，我们将通过 selenium 模拟用户使用浏览器的行为，爬取京东商品信息，还是先放上最终的效果图：1、网页分析(1)初步分析原本博主打算写一个能够爬取所有商品信息的爬虫，可是在分析过程中发现，不同商品的网页结构竟然是不一样的所以，后来就放弃了这个想法，转为只爬取笔记本类型商品的信息如果需要爬取其它类型的商品信息，只需把提取数据的规则改变一下就好，有兴趣的朋友可以自己试试看呀好了，下面我们...
Python爬虫实战：爬取京东商品信息
小蜗牛的珍贵百宝箱
09-30 1232
本文详细介绍了如何使用 Python 爬虫爬取京东商品信息，讲解了爬取 HTML 页面、解析数据、获取 AJAX 加载的 JSON 数据并存储到 CSV 的步骤。通过这些步骤，你可以快速地抓取和分析京东商品数据。爬取京东商品信息属于网络爬虫的一部分，要确保遵守相关网站的robots.txt规则，合理控制爬取频率，避免给服务器造成过大的负担。
selenium爬取京东商品信息
墨渊的博客
05-21 1124
from selenium import webdriver #模拟鼠标操作 from selenium.webdriver import ActionChains #键盘按键操作 from selenium.webdriver.common.keys import Keys import time from bs4 import BeautifulSoup driver = webdriver.Chrome() #首页 driver.get('https://www.jd.com/') #关键词
selenium--爬虫爬取京东商城商品信息
qq_36780295的博客
07-27 825
selenium--爬取京东商城商品信息说明完整代码 说明 看完用selenium爬取淘宝商品信息的网课，于是乎想着自己也整一个selenium程序来爬取京东以作巩固。写了几个小时的代码，通过不断调试，学到了很多细节上的处理，完整代码在下方，使用时修改搜索的参数就可以开始爬取了，事先要安装goole chrome的驱动。最终爬取的结果存储在了products数组中，需要添加其他处理时，直接在程序最后使用数组来调用爬取的结果。运行结果不展示了，就是把信息输出出来，因为要等待网页加载，所以运行时间有点久。 完整
Selenium爬取京东商城商品基本信息并写入csv
qq_41998722的博客
04-29 1286
想要爬取一份京东商城的商品数据用来做数据分析 使用selenium较稳定,可以绕过很多反爬虫 但是使用selenium效率较低,而且通过循环翻页方法会存在数据重复 直接上代码 import time import urllib.parse import pandas as pd from bs4 import BeautifulSoup from selenium.webdriver.common...
selenium爬取京东商品信息.py
07-27
使用selenium爬取京东商城的商品信息，代码与文章中同步，使用时输入想要搜索的商品信息，想要对爬取的结果进行更改或者其他操作时，使用数组对products数组进行提取。
python爬虫利用selenium爬取淘宝和京东商品信息
01-19
python爬虫利用selenium爬取淘宝和京东商品信息。实现了无头浏览器进行爬取，即不需要启动自己的浏览器即可完成爬取信息的功能，而且避免了网站的反爬机制。python爬虫利用selenium爬取淘宝和京东商品信息。实现了...
python爬取poi城市版_python爬虫_poi爬取软件_POI_地图爬虫_python_源码.zip
09-30
Python爬虫的基本原理是利用网络请求库（如requests）发送HTTP请求到目标网站，然后通过解析库（如BeautifulSoup或lxml）解析返回的HTML或JSON数据，提取我们需要的信息。在地图爬虫中，通常需要登录、模拟用户行为...
day24-爬虫4(selenium）
qq_46137199的博客
05-28 341
总结 # selenium基本用法 from selenium import webdriver from selenium.webdriver.common.keys import Keys import time # 1.创建浏览器对象 # 注意：浏览器对象如果是局部变量，操作结束后浏览器会自动关闭， 如果是全局变量则浏览器需要手动关闭 # web = webdriver.Chrome() # 2. 打开网页 # web.get('https://www.jd.com') # web.clos
Python爬取京东手机商品参数
12-27
Python爬取京东手机商品参数，通分析每款手机的网页结构，爬取整个京东手机分类中的手机产品参数
使用selenium爬取京东商品
qq_41562704的博客
06-08 4174
任务：使用selenium爬取京东上狗粮相关信息
Python网络爬虫数据采集实战：Selenium库爬取京东商品
大数据之眸
03-14 3212
​ 通过前文爬虫理论结合实战的部分我们对爬虫有了初步的了解，首先通过requests模拟浏览器进行请求，接着通过正则表达式或者解析库对网页进行解析，还知道了动态网页Ajax的爬取方法，但总是担心模拟不够会被反爬侦测出来，而本文要介绍的方法则是直接调用浏览器的方式进行高仿浏览器爬虫，这样就再也不用担心啦~ 目录 一、Selenium库介绍 1.Selenium简介 ...
python写爬虫爬取京东商品信息
qq_45983373的博客
03-24 4392
使用python进行简单的网页数据爬取
爬取京东销售商品并保存为xls文件
weixin_49159287的博客
08-26 765
获取京东商品售价等信息 需要安装selenium，lxml，xlwt等模块 通过selenium模块模拟登录爬取京东销售页面 将爬取的数据通过xlwt模块保存至指定xls文件中 from selenium import webdriver from lxml import etree from time import sleep from urllib.parse import urlencode import xlwt import time if __name__=='__main__':
selenium京东商城爬取
本郡主是喵
10-03 2028
你看完上述项目内容之后，会发现京东登录是一个比较坑的点，selenium控制浏览器没有登录京东,导致我们自动爬取网页被重定向到京东登录注册页面。因此，我么 要单独能一个登录注册。
Python抓取京东、淘宝商品数据（属性详情，sku价格抓取）
Api_coco的博客
04-01 1302
抓取京东、淘宝等电商平台的商品数据（包括属性详情、SKU价格等）通常涉及到网络爬虫技术。这些平台都有自己的反爬虫机制，因此需要谨慎操作，避免对平台造成不必要的负担或违反其使用条款。公共参数示例代码框架，请求示例，接入Anzexi58以下是一个基本的步骤指南，用于抓取。
Python如何运用爬虫爬取京东商品评论
m0_48891301的博客
08-30 6783
Python如何运用爬虫爬取京东商品评论？
selenium爬取京东评论
最新发布
10-12
Selenium是一个流行的Web自动化测试工具，它允许用户模拟浏览器行为，包括登录、浏览网页和抓取数据。要使用Selenium爬取京东商品的评论，你需要按照以下步骤操作： 1. **安装依赖**： - 安装Python：确保你已经安装了Python，如果没有可以去官网下载。 - 安装Selenium：运行`pip install selenium` 来安装Selenium库。 - 驱动程序：选择对应的浏览器驱动（如ChromeDriver、FirefoxDriver等），根据你的浏览器版本下载并放到系统路径下。 2. **初始化**： 使用`webdriver_manager`库自动管理驱动，或者手动指定驱动路径： ```python from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(ChromeDriverManager().install()) ``` 3. **打开页面**： ```python driver.get('https://www.jingdong.com/comment/default.htm?skuId=商品ID') ``` 将`商品ID`替换为实际的商品ID。 4. **等待加载**： 由于评论可能是动态加载的，使用`WebDriverWait`等待元素加载： ```python from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC wait = WebDriverWait(driver, 10) # 等待时间可根据实际情况调整 wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="comment-list"]'))) ``` 5. **抓取评论**： 根据HTML结构定位评论元素，提取内容，例如： ```python comment_list = driver.find_elements(By.XPATH, '//div[@class="comment-item "]') for comment in comment_list: text = comment.find_element(By.XPATH, './/p[@class="review-content"]').text rating = comment.find_element(By.XPATH, './/i[@class="score"]').get_attribute('title') print(f"评论文本：{text}, 评分：{rating}") ``` 6. **保存数据**： 可能需要结合其他库（如Pandas）将评论数据保存到CSV或其他文件格式。 7. **退出浏览器**： 访问完后关闭浏览器窗口： ```python driver.quit() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值