Selenium自动爬取JD京东商品用户评论（selenium与json交互）

最新推荐文章于 2024-09-13 22:13:59 发布
最新推荐文章于 2024-09-13 22:13:59 发布
阅读量1k 收藏 5
点赞数
分类专栏： spider大集合 文章标签： selenium csv 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tianxuancsdn/article/details/110865079
版权
本文介绍了如何使用Selenium处理京东商品评论的动态加载问题，特别是当商品ID变化时如何应对。通过获取首页商品URL并随机选择，结合Selenium模拟浏览。由于商品信息动态加载为JSON格式，而Selenium无法直接解析JSON，作者选择了手动替换字符来转换为JSON，或者利用BeautifulSoup进行格式化处理。此外，也讨论了如何自动化拼接单独的评论页面数据。
摘要由CSDN通过智能技术生成

动态爬取京东商品评论，Selenium与json交互

需求：用selenium爬取京东商城某一款华为手机的评论，要求至少爬取2000条	用户名和用户评论网址为https://www.jd.com/，将这些信息存入csv文件中，文件后缀为.csv。 将ipynb文件和后缀为.csv的文件压缩打包

在这里插入图片描述
在这里插入图片描述

不得不说，这一篇还是很有坑点的：

  • 商品评论的id达到一定次数后会自动更换id；
  • 其次，商品id号的更换可在首页进行所有商品的url获取，然后通过random.choice()进行随机选取，之后就是评论的事情了；
  • 这时候你会发现，这里的商品信息全是动态加载的…json就来了，而非常蛋疼的一件事就是，selenium不能跟json直接交互解析，所以笔者子
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Alexander plus
关注
专栏目录
订阅专栏
使用Python的自动化工具Selenium爬取京东商品评论
Coding
05-16 3788
课程作业要求，遂学习了python的自动化selenium工具，并爬取京东商品评论数据练练手。 目录： 一、环境 二、第三方库 三、分析 1.1 chrome驱动 1.2定位评论元素 1.3循环爬取评论数据并保存为CVS文件导出 其中xpath对应网页元素 评论： 用户名： 四、代码 五、结果 一、环境 我使用的是windo...
Selenium爬取京东商品评价，并进行基于情感词典的文本情感极性分析
qq_32668801的博客
06-20 4405
Selenium爬取京东商品评价，并进行基于情感词典的文本情感极性分析1. 介绍及开发环境2. 爬虫实现2.1 请求构造2.2 提取信息2.3 数据存储2.4 运行结果3. 文本情感分析实现3.1 数据准备3.2 数据处理3.2.1 加载数据3.2.2 分词及分类3.3 计算情感得分3.4 运行结果4. 总结 1. 介绍及开发环境        通过Sele...
python爬虫之使用selenium爬取京东商品信息并把数据保存至mongodb数据库
chengstudying的博客
08-10 3280
1.使用工具 python3 pymongo mongodb selenium chrome浏览器 2.具体分析 2.1 URL分析 打开京东首页，在搜索框任意输入一个商品名称，这里以华为最新发布的手机华为p50为例，点击搜索，页面如下所示： 可能会出现登录界面，可以先登录一下： 进入首页后，先记录首页链接，然后连续下滑，可以看到翻页的地方： 点击第二页额、第三页、第四页，然后记录下每一页的链接，可以发现如下规律： 第一页：https://search.jd.com/search.php?key
JD_AutoComment：自动化京东评价神器
最新发布
gitblog_07970的博客
09-13 569
JD_AutoComment：自动化京东评价神器 jd_AutoComment 自动评价,仅供交流学习之用 项目地址: https://gitcode.com/gh_mirrors/jd/jd_AutoComment ...
selenium使用_使用selenium爬取京东商品评论
weixin_39597262的博客
12-08 407
前言我们在爬取网页时经常会遇到动态渲染页面，对于普通的Ajax，可以利用requests和urllib来实现数据爬取，但是javascript不止ajax一种，其规律有时很难发现，这一过程也会浪费很多时间。而selenium可以模拟浏览器执行特定的动作，这样就不用在乎javascript是如何渲染页面了。本次的实验对象是京东商品的评论，网址如下：【ThinkPad】联想ThinkPad E580 ...
【使用Selenium自动爬取京东商品评论】
sinat_22331215的博客
06-03 497
爬取京东商品评论，了解消费者满意度。
用selenium获取某东商品用户评论来做数据分析
zm024212的博客
09-25 1902
如图需要获取小米11的用户评论 网址：https://item.jd.com/100009958327.html 1.分析网页会发现利用selenium不用处理复杂的反爬会比较好（不过在此需要对selenium有扎实的基本功） 我们需要获取的信息有： 买 家 昵 称 ， 手机颜色, 配置, 评 论 时 间, 买 家 评 星, 评论 2.接下来导入模块创建浏览器对象： from selenium.webdriver import Chrome from selenium.webdr...
selenium爬取京东商品信息.py.zip
04-08
【标题】"selenium爬取京东商品信息.py.zip" 提供了一个使用Python的Selenium库来抓取京东网站商品信息的实例。Selenium是一个强大的Web自动化测试工具，它允许我们模拟真实用户对网页的交互，这在网页爬虫中特别...
使用selenium与网页交互、嵌套网页爬取
Lemon_Review的博客
08-13 2364
使用selenium与网页交互、嵌套网页爬取 前进、后退、切换选项卡 from selenium.webdriver import Chrome import time 创建浏览器对象 driver = Chrome() 依次进入若干个网站 driver.get('https://www.baidu.com') time.sleep(2) driver.get('https://www.jd.com') time.sleep(2) driver.get('https://www.runoob.com')
jd-assistant-master_python_京东自动抢购_京东_源码
09-29
总之，"jd-assistant-master"是一个基于Python的京东自动抢购工具，它通过模拟用户行为和处理验证码等手段实现自动化抢购，用户需要提供登录信息和商品ID，并可能涉及定时任务、异常处理等技术。在使用这类工具时，...
jd三星手机爬取
12-06
标题“jd三星手机爬取”指的是使用编程技术，特别是Python语言，从京东网站上抓取与三星手机相关的信息。这个过程通常涉及到网络爬虫技术，它允许开发者编写程序自动浏览和提取网页数据。在这个场景中，爬虫的目标是...
爬虫初学——爬取京东商品的评论（二）
12-22
酱菜Seven7原创，转载请注明出处。 使用的手段：数据库Mysql， 语言python，正则表达式re 在获取了评论url的情况下（获取京东评论的url方法），现在我们可以来爬取用户昵称和url了。作为一个初学者，我用的正则表达式，来对那url的数据，进行匹配获取。 一、根据内容，编写合适的正则表达式 通过分析打开的url地址的数据，我们可以找到所需的两个规律： 1、用户昵称部分： 所以，我们针对提取用户的正则表达式如下： r'\"nickname\":\"([^",]+)\",\"replyCount2\"' 2、评论部分： 评论部分，因为会有无追评，而造成结尾不一致： 情况一： 情
selenium登录爬取京东商品信息（python爬虫例子）
04-27
selenium模拟登录京东，输入商品名，自动获取商品信息和链接
selenium爬取京东商品信息.py
07-27
使用selenium爬取京东商城的商品信息，代码与文章中同步，使用时输入想要搜索的商品信息，想要对爬取的结果进行更改或者其他操作时，使用数组对products数组进行提取。
selenium爬取京东商品信息_使用selenium爬取京东商品评论
weixin_28224217的博客
01-25 1113
前言我们在爬取网页时经常会遇到动态渲染页面，对于普通的Ajax，可以利用requests和urllib来实现数据爬取，但是javascript不止ajax一种，其规律有时很难发现，这一过程也会浪费很多时间。而selenium可以模拟浏览器执行特定的动作，这样就不用在乎javascript是如何渲染页面了。本次的实验对象是京东商品的评论，网址如下：【ThinkPad】联想ThinkPad E580 ...
Python大数据实践:selenium爬取京东评论数据
mynameispy的博客
03-18 1946
Selenium是广泛使用的模拟浏览器运行的库，用于Web应用程序测试。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样，并且支持大多数现代 Web 浏览器。
使用selenium获取京东商品信息
进阶中的小白
05-19 2159
简单说明 使用selenium实现京东商城的商品查找，同时获取每个商品的价格、评论、店铺名称、详情链接、图片链接、标题信息，存入Mongodb数据库当中。 使用工具和模块安装 selenium: pip install selenium -i https://pypi.douban.com/simple lxml: pip install lxml -i https://pypi.douban.com/simple pymongo: pip install pymongo -i https://pypi
Python爬虫 使用Selenium爬取京东第一页商品的差评
ShiYU的博客
06-09 938
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
python3[爬虫实战] 使用selenium，xpath爬取京东手机（下）
徐代龙的技术专栏
10-11 1457
这次主要是进行京东具体某个店铺手机评论内容的爬取。本来是跟上一起写的，只是没有时间一块做总结，现在写上来是有点生疏了。这里是暂时获取一个商品的评论内容爬取的字段：评论内容，购买机型，评论人上代码：# -*- coding: utf-8 -*- # @Time : 2017/9/18 23:16 # @Author : 蛇崽 # @Email : 17193337679@163.com #
selenium自动爬取京东商品评论
05-26
可以使用Selenium模拟浏览器操作，实现自动爬取京东商品评论的功能。以下是一个简单的示例代码： ```python from selenium import webdriver import time # 打开浏览器 browser = webdriver.Chrome() # 进入京东商品页面 url = 'https://item.jd.com/商品ID.html' browser.get(url) # 点击商品评论 browser.find_element_by_link_text('商品评价').click() # 获取评论页数 page = browser.find_element_by_class_name('ui-page-s-len').text.split('/')[-1] page = int(page) # 遍历评论页 for i in range(1, page+1): # 滚动到底部，加载更多评论 browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') time.sleep(3) # 获取评论内容 comments = browser.find_elements_by_class_name('comment-con') for comment in comments: print(comment.text) # 点击下一页 try: browser.find_element_by_class_name('ui-pager-next').click() except: break # 关闭浏览器 browser.quit() ``` 需要注意的是，需要替换代码中的`商品ID`为你要爬取的京东商品ID，也需要调整`time.sleep()`的时间以确保页面加载完成。另外，由于京东网站的反爬虫机制比较严格，建议使用代理IP和用户代理等方式进行反反爬虫处理。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Alexander plus

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值