selenium li标签怎么点击_Selenium爬取京东商品的好评与差评并写入EXCEL

最新推荐文章于 2024-06-03 17:46:02 发布
最新推荐文章于 2024-06-03 17:46:02 发布
阅读量496 收藏
点赞数
文章标签： selenium li标签怎么点击
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39700548/article/details/111605467
版权

动态HTML页面数据的获取可以使用request库得到服务器发送来的数据，但是京东商品评论包含全部评论、好评、中评、差评等。这里是用Selenium模拟点击转到相应的页面来获取页面内容，具体分为以下几个步骤：

1.得到商品页面链接，这里我们爬取Kindle: [【Kindlekindle】Kindle paperwhite4 电子书阅读器 电纸书墨水屏6英寸wifi黑色 8G【行情 报价 价格 评测】-京东]

2. 等所有元素加载出，点击“商品评价”按钮，点击“好评“按钮

3. 等待页面加载完成，获取Html文档内容，当前页面好评的所有评论位置是"div", id=“comment-4"标签下所有的"div”,class_="comment-item"标签

4. 将内容写入EXCEL,这里进行文件是否存在的判断，进行文件创建或追加的，同时写入每一条数据的类型(好评还是差评)和字数。

5. 差评同理

---------------------

注意几点问题

*EXCEL的追加只能是先copy再覆盖

*driver全屏打开，”下一页"元素被挡住的话就点击不到，出现not clickable的错误

*点击”商品评价"按钮时，系统默认会加载“全部评价”，所以“dd=driver.find_elements_by_css_selector(‘a.ui-pager-next’)”是一个列表，而dd[0]是“全部评价”下的“下一页”

---------------------

完整代码

from bs4 import BeautifulSoup
imp
最低0.47元/天 解锁文章
weixin_39700548
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python Selenium 超星点击操作处理
番茄Salad
09-19 1553
最近在用Selenium测试的时候遇到的一些问题，点击不了，获取不到等等原因，明明已经写对了xpath，但是还是获取不到，也点击不了的一系列问题。本文包含了如何对iframe处理、如何对混乱顺序的元素处理、如何对点击被遮盖住的元素处理、如何切换Tap页面操作等等💨💥。
selenium li标签怎么点击_python+selenium+pyquery实现数据爬虫
weixin_39777875的博客
12-19 2007
提前声明一下，我写这个代码只是为了个人方便，读者切勿用作非法或者商业用途使用。目标： 首先我们本次爬虫的任务是完成某采购网站的信息爬取，省去人工耗费的时间。快速筛选出我们的需要的指定信息。然后将招标信息的标题、链接、和时间找出来，并保存到Excel。工具：python3chrom浏览器及dirver驱动mysqlpyquery、selenium、等库的了解思路： ...
selenium - - Element ＜li＞...＜/li＞ is not clickable at point (897, 400)问题
waws520waws的博客
03-16 7532
问题描述 今天在使用selenium的时候，我们碰到了一个现象，就是我们的可点击的元素并不能点击，报错如下 ```python selenium.common.exceptions.ElementClickInterceptedException: Message: element click intercepted: Element <li>...</li> is not clickable at point (897, 400). Other element would
【使用Selenium自动爬取京东商品评论】
最新发布
sinat_22331215的博客
06-03 224
爬取京东商品评论，了解消费者满意度。
selenium详细操作
weixin_43863961的博客
03-15 568
在使用selenium访问一个网站的时候会一直304跳转，导致出验证码。百度许久添加了种种参数设置也没用。。。
Selenium 点击＜li＞标签失效问题解决办法！
纵行山河万里~
10-31 291
超级牛逼的selenium点击失效问题解决办法，懂了朋友可以试试举一反三，很多时候都是这些毛病！
Python大数据实践:selenium爬取京东评论数据
mynameispy的博客
03-18 1669
Selenium是广泛使用的模拟浏览器运行的库，用于Web应用程序测试。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样，并且支持大多数现代 Web 浏览器。
selenium爬取京东商品信息.py
07-27
使用selenium爬取京东商城的商品信息，代码与文章中同步，使用时输入想要搜索的商品信息，想要对爬取的结果进行更改或者其他操作时，使用数组对products数组进行提取。
使用selenium和pyquery爬取京东商品列表过程解析
09-18
在本教程中，我们将深入探讨如何使用Python的Selenium库和PyQuery库来爬取京东网站上的商品列表，特别是计算机书籍的信息。Selenium是一个强大的自动化测试工具，它允许模拟用户行为，比如点击按钮、填写表单等。而...
Selenium爬取京东商品数据 课程设计
01-06
4. 爬取指定页数的商品数据，包括商品标题、价格、链接和评论量。 5. 将爬取的数据保存到Excel文件中，每条数据占一行，包括标题、价格、链接和评论量。 6. 可自定义爬取的网站URL、关键词和页数。 7. 使用了...
selenium登录爬取京东商品信息（python爬虫例子）
04-27
以上就是使用Selenium模拟登录京东并爬取商品信息的基本步骤。在实际应用中，可能还需要处理验证码、滑动验证等复杂情况，以及考虑反爬虫策略，比如设置合适的延时、使用代理IP等。此外，注意遵守网站的robots.txt...
爬虫——python爬取京东商品用户评价
m0_64430775的博客
03-21 9845
python爬取京东商品用户评论，分别爬取好评、中评、差评，以小米手环7为例
用selenium获取某东商品用户评论来做数据分析
zm024212的博客
09-25 1840
如图需要获取小米11的用户评论 网址：https://item.jd.com/100009958327.html 1.分析网页会发现利用selenium不用处理复杂的反爬会比较好（不过在此需要对selenium有扎实的基本功） 我们需要获取的信息有： 买 家 昵 称 ， 手机颜色, 配置, 评 论 时 间, 买 家 评 星, 评论 2.接下来导入模块创建浏览器对象： from selenium.webdriver import Chrome from selenium.webdr...
基于python和selenium爬取JD商城商品信息并且分析用户对于产品的满意程度
haohulala的博客
04-18 1106
我把整个代码都托管在github上了，那里面有详细的api说明文档 https://github.com/hao297531173/JDCommentSpider/tree/master PS：获取的数据仅供学习交流使用 那么我们就开始吧 没图说个球，先来看一下最后的分析得到的图表 评论关键词词云 PS:由于网络不好和穷，所以这个用户满意度的数据量很小，不代表真实的用户...
爬虫项目五：最详细的京东商品、评价爬虫、词云展示
weixin_47163937的博客
03-20 9510
文章目录前言一、京东商品信息爬虫1.分析URL2.实例化chrome3.加载完整数据4.实现翻页5.解析数据二、京东商品评价爬虫1.找到接口2.分析url3.解析数据4.词云 前言 本文内容包含京东商品列表爬虫的详细教程以及商品评价数据的详细教程 提示：以下是本篇文章正文内容，下面案例可供参考 一、京东商品信息爬虫 我们要知道京东商品页的数据有一半是通过动态加载出现的，一页60条数据 一半是动态加载，也就是说我们如果单纯的用requests访问url的话只能拿到一半的数据，那另一半的数据拿到有两种方法.
爬虫学习日记：爬取京东网站商品评论的实例代码
S1901的博客
05-31 1694
爬取JD网站商品评论的实例代码 以爬取糗事百科为例，并将实例代码附在下面，对于代码文末有逐行解释。 代码： from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By imp
selenium爬取京东商品信息_使用selenium爬取京东商品评论
weixin_28224217的博客
01-25 1075
前言我们在爬取网页时经常会遇到动态渲染页面，对于普通的Ajax，可以利用requests和urllib来实现数据爬取，但是javascript不止ajax一种，其规律有时很难发现，这一过程也会浪费很多时间。而selenium可以模拟浏览器执行特定的动作，这样就不用在乎javascript是如何渲染页面了。本次的实验对象是京东商品的评论，网址如下：【ThinkPad】联想ThinkPad E580 ...
最新python实现公钥密码ElGamal算法_elgamal解密算法python，2024年最新2024-2024历年网易跳动Python面试真题解析
2301_76190672的博客
05-13 934
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
selenium获得ul标签下的多个li标签并存进列表
热门推荐
是光の谢宣骞博客
11-07 1万+
偶尔学了爬虫
python selenium爬取招聘网站职位
12-15
以下是使用Python和Selenium爬取招聘网站职位并将数据保存到CSV文件的示例代码： ```python from selenium import webdriver import csv # 创建CSV文件并写入表头 with open('jobs.csv', mode='w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow(['职位名称', '公司名称', '工作地点', '薪资', '发布时间']) # 启动Chrome浏览器 driver = webdriver.Chrome() # 访问招聘网站 driver.get('https://www.example.com/jobs') # 查找职位列表 job_list = driver.find_elements_by_css_selector('.job-list li') # 遍历职位列表并提取数据 for job in job_list: job_name = job.find_element_by_css_selector('.job-name').text company_name = job.find_element_by_css_selector('.company-name').text location = job.find_element_by_css_selector('.location').text salary = job.find_element_by_css_selector('.salary').text publish_time = job.find_element_by_css_selector('.publish-time').text # 将数据写入CSV文件 with open('jobs.csv', mode='a', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow([job_name, company_name, location, salary, publish_time]) # 关闭浏览器 driver.quit() ``` 该代码使用Selenium模拟浏览器操作，访问招聘网站并查找职位列表。然后，遍历职位列表并提取职位名称、公司名称、工作地点、薪资和发布时间等信息，并将这些信息写入CSV文件中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值