Python+selenium爬取JD数据无法跳转页面

最新推荐文章于 2024-05-09 10:56:45 发布
最新推荐文章于 2024-05-09 10:56:45 发布
阅读量1.5k 收藏
点赞数
分类专栏： python 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43254131/article/details/121510854
版权

selenium爬取JD商品数据点击“下一页”无法跳转，反而跳转到用户登录页面，有可能是因为页面太小，加入以下代码解决问题：

# 隐式等待，确保动态内容节点被完全加载出来
drver.implicitly_wait(3)
# 最大化浏览器窗口，防止内容被遮挡
web.maximize_window()

先使用 implicitly_wait() 方法隐式等待浏览器将页面完全加载出来，再使用maximize_window()将浏览器窗口最大化，防止页面元素未加载出来或被遮挡而查找失败。

Menacer
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬取京东数据加载失败_python 爬京东数据时，无法登陆。
weixin_39980360的博客
12-22 1028
想使用python爬取京东的快递信息，现在需要解决的首要问题是使用python模拟浏览器登陆，遇到了下面的问题。_t _ntNBMNX({"username":"\u8bf7\u60a8\u518d\u6b21\u767b\u5f55","_t":"_ntaLJJS"})所有代码如下。import urllibimport urllib2import cookielibimport reimpor...
python爬取换页_爬虫爬不进下一页了，怎么办
weixin_39811386的博客
11-24 481
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼#-*- coding: UTF-8 -*-import scrapyfrom hoho.items import HohoItemimport refrom scrapy.selector import Selectorimport sysreload(sys)sys.setdefaultencoding( "UTF-8" )class tongSpi...
Web Scraper 网络爬虫零基础详细使用教程，爬取京东商品搜索结果、商品价格、规格参数等，爬取二级网页、滚动加载网页，京东安全验证小技巧
最新发布
2401_84215240的博客
05-09 1109
插件的基本使用方式，以及京东弹出安全验证的处理小技巧。研究最近需要用到京东的商品数据。刚开始采用了常规的 request 库的方法直接发送请求，然后解析返回结果的方式，但是京东的反爬太狠了，请求几次直接就给嘎了，多次尝试后还是以失败告终。经推荐，我用上了 Web Scraper 这个插件，发现上手简单，傻瓜式操作，而且最重要的是没有被京东很快地拦截掉，能比较顺利地爬到数据，所以写这篇博客记录一下使用方法，以备后续需要并和大家分享。
Selenium登录页面点击登录页面没有跳转问题（click（）失效）
weixin_46009999的博客
01-12 1385
对于一般的登录界面的登录按钮用xpath定位元素再点击就可以进入页面，但是如果登录不是一个按钮而是一张图片，这时我们该怎么定位并登录成功呢？
关于python selenium翻页错误的问题：element is not attached to the page document
Single_minde的博客
06-15 818
在爬取的过程中，有时需要翻页操作时，如果响应时间不够，容易会出现以上错误。 这个错误主要是因为响应下一页时，下一页界面的包还没有加载完成就进行页面的获取，这样就会重复获取上一个页面的数据（如果没有保存缓存，可能会爬空），此时编辑器判断出未更新重复获取而报错，因此我们需要给页面加载完成后再对这个页面的数据进行获取。可以利用time中的sleep方法，强制使页面等待一定时间，这样就可以等待数据传输完成后，正常获取，不出现错误。 总结： 页面翻页数据获取错误，只需要在页面翻页后等待几秒钟，等数据加载完毕后，再获取
（二）Python+selenium，页面跳转后定位无效解决办法
海绵宝宝的博客
04-06 1328
1、比如从这个后台需要跳转到另一个后台， 点击小程序后，在浏览器新增一个页面 2、执行自动化脚本，跳转后，定位报错了 3、此时，可以在跳转前加一个跳转的句柄 allhandle=driver.window_handles driver.switch_to.window(allhandle[1]) 再次执行脚本就可以了， 其他也有判断的句柄，都可以参考参考噢 ...
利用python+selenium爬取公众号和知乎文章代码
03-25
利用python+selenium爬取公众号和知乎文章代码
python+selenium爬取地理空间数据云影像的元数据
09-14
python+selenium爬取地理空间数据云影像的元数据，地理空间数据云影像的元数据信息是动态获取的，所以要用到selenium实现动态点击，而且翻页也需要动态去做
python3+selenium爬取百度图片
12-21
python3+selenium爬取百度图片 from selenium import webdriver from lxml import etree from urllib import request import time class Baidu_pic(object): def __init__(self,kw): self.kw = kw options = ...
python+selenium爬取亚马逊商品评论详情
02-28
亚马逊评论详情页是动态加载的，不过多折腾，直接用selenium进行爬取；用pandas写入csv文件，解决乱码、无序问题；
python+selenium爬取手机号归属地
04-14
爬取手机号归属地 效果可查阅https://blog.csdn.net/weixin_42930696/article/details/105507651
Python爬虫——selenium模拟京东网站登录（一）
01-20
1.导入需要的库 import time from selenium import webdriver 2.浏览器获取驱动 需要下载跟chrome浏览器相匹配的驱动driverchrome.exe，详情见：根据电脑浏览器的版本下载相应的驱动chromedriver.exe，环境变量的配置，详情见这里Window 下配置ChromeDriver(简单4步完成） 再将driverchrome.exe复制到Anaconda3所在的文件Script文件夹中，我的是： 获取驱动 # 获取驱动 driver = webdriver.Chrome() 将窗口最大化 # 将窗口最大化 driver.ma
用selenium写了个京东评论爬虫，为什呢老跳入中断，不中断就报错下一页标签找不到，或者说下一页标签不可点击，求解答！！！
qq_45400112的博客
02-12 446
```python def get_next_page(): try: # 下一页url time.sleep(3) driver.find_element_by_xpath('//div[@class="com-table-footer"]//a[@class="ui-pager-next"]').click() except Excep...
python爬取商品评论_python爬取京东评论(一)
weixin_39713578的博客
11-21 528
点击——>要爬取网址作为一个爬虫小白解决问题是十分蛋疼的(Φ皿Φ)，就这几行代码，我折磨了一下午，然后我发现，学习代码最大的难题是学习资源获取的途径并不是代码本身，只要学，任何人都能学会1.先到达页面打开开发者模式(F12)，点击商品评论，我们随便的复制一些字，去源码里搜搜发现没有这句话，就知道是动态页面了，该去找json文件了开发者选项2.我们进入Network,去filter里面打commen...
已解决python selenium模块自动化操作谷歌浏览器点击元素失效问题解决（亲测有效）
努力让自己发光，对的人才能迎着光而来
03-14 9528
已解决python selenium模块自动化操作浏览器点击元素，抛出异常selenium.common.exceptions.ElementClickInterceptedException: Message: element click intercepted: Element的正确解决方法，亲测有效！！
记录：selenium点击“下一页”或“继续阅读”出现的错误以及解决方式
热门推荐
落神的博客
05-07 2万+
模拟浏览器爬取某些网站的时候，点击下一页或者继续阅读标签会出现 Element：ElementClickInterceptedException 如果出现这种错误，说明这个标签被隐藏了，可以采取以下两种方式解决 1、 button = driver.find_element_by_xpath('//a[@id="btn-read-all"]') webdriver.ActionChain...
爬虫爬取京东时被拦截到登录界面怎么办？
北海_南风
06-22 3523
爬虫京东数据的时候，链接老是自动跳转到京东的登录页面？？ 京东的识别，会把这种行为视为爬虫，所以我们要模拟浏览器的浏览行为 在创建HttpGet请求的时候，设置请求头部信息“User-Agent”的信息。 httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36").
爬虫 - 项目学习 - 基于 selenium 爬取京东
LIN的博客
01-24 712
目录 一、界面分析 二、主页面查询，数据跳转商品页面 三、商品页面获取商品信息 四、商品页面翻页获取数据 五、综合封装，获取多页指定商品数据 六、注意事项及错误总结 6-1 翻页使用上方的'>'时报未查到元素错误 6-2 翻页使用上方的'>'时报不可点击错误 6-3 使用 chromedriver 的错误总结 6-3-1 封装在函数内的页面自动关闭 6-3-2 转...
Python爬虫—爬取京东商品信息（自动登录，换关键词，换页）
qq_45657504的博客
05-29 7222
目录前言一、需要的Python库安装1.设置默认pip默认安装路径2.下载浏览器驱动（以chrome为例）二、使用步骤（代码以函数为单位分开展示）1.引入库2.设置关键词和浏览器设置3.定义获取密码函数4.定义获取图片信息，返回最佳匹配位置函数5.定义滑动函数6.定义实现登录函数7.定义文件保存函数8.定义爬取函数9.定义首次运行函数10.定义继续运行函数11.定义主函数三、代码整体展示总结 前言 最近需要些简单的商品数据信息，听说淘宝反爬虫反的厉害，自己Python学习花的时间少，人菜的抠脚，就打起了
用python+selenium爬取小红书数据
05-02
小红书是一家非常流行的社交电商平台，对于爬取小红书的数据，需要使用 Python 的 Selenium 库。下面是爬取小红书数据的简单步骤： 1. 安装 Selenium 库 ```python pip install selenium ``` 2. 下载 Chrome ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值