如何解决利用python selenium库+无头chrome爬取qq音乐歌单时遇到StaleElementReferenceException的问题

最新推荐文章于 2024-05-02 01:13:24 发布
最新推荐文章于 2024-05-02 01:13:24 发布
阅读量493 收藏
点赞数
分类专栏： 爬虫 python 文章标签： selenuim python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42282306/article/details/82505789
版权

我想利用遍历url列表实现对数据的爬取。最初的想法是每爬取一页time.sleep(1)。但是遇到了如下问题：
这里写图片描述

百度和谷歌上很多对于此类问题的分析都是说元素发生了改变，得重新定位。但是我观察了qq音乐的html，每一页的元素格式都是一样的，不是问题所在。
最后，我把time.sleep(1) 放到driver.get(url)后，问题解决了。对于出现的错误，谷歌上相关的解释是页面还没来得及加载完全，导致元素匹配时新旧冲突。修改后如下图：这里写图片描述

雨下yi整晚
关注
专栏目录
小福利，用selenium模块爬取qq音乐歌单
littlespider889的博客
10-15 507
大家好，我是天空之城 爬取qq音乐歌单 话不多说，代码如下 #--coding:utf-8-- from selenium import webdriver # 从selenium库中调用webdriver模块 import time from bs4 import BeautifulSoup # option = webdriver.ChromeOptions() # option.add_argument('headless') # 静默模式 # # 打开chrome浏览器 # driver =
使用selenium操控浏览器爬取QQ音乐
qq_30359369的博客
03-07 1342
环境python3.6,工具pycharm 首先安装selenium框架,下载selenium框架需要的webdriver驱动放在谷歌浏览器bin目录… 略过这部分上代码 from selenium import webdriver import requests import json import threading import threading print('请输入歌名:') s = ...
教你如何用Python抓取QQ音乐歌单及分析
自动化测试馆长
02-01 3011
学了python也有一段时间了，对于爬虫，后端的框架也有一些了解，但是都是在学习的时候跟着别人写的，感觉都不是自己的知识一样。
Python爬取QQ音乐的代码
weixin_42601608的博客
02-18 1036
以下是一个简单的 Python 爬取 QQ 音乐的代码示例： import requests from bs4 import BeautifulSoup def get_music_info(music_id): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit...
手把手教你使用Python抓取QQ音乐数据
SeizeeveryDay的博客
08-23 678
【一、项目目标】获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。由浅入深，层层递进，非常适合刚入门的同学练手。【二、需要的库】主要涉及的库...
(Win10) 使用 Selenium + Python + Chrome 爬取数据并存入 MySQL 的尝试-附件资源
03-02
(Win10) 使用 Selenium + Python + Chrome 爬取数据并存入 MySQL 的尝试-附件资源
详解python selenium 爬取网易云音乐歌单名
09-19
### Python Selenium爬取网易云音乐歌单名详解 #### 一、引言 在Web自动化测试领域，Selenium 是一个非常强大的工具，它不仅能够帮助我们进行自动化测试，还可以用于网页爬虫。本文将详细介绍如何使用 Python 和 ...
python3+selenium爬取百度图片
12-21
python3+selenium爬取百度图片 from selenium import webdriver from lxml import etree from urllib import request import time class Baidu_pic(object): def __init__(self,kw): self.kw = kw options = ...
python + selenium +pyquery 爬虫 爬取 1688详情图片 阿里巴巴详情图片 与标题 下载图片并进行压缩 仅供学习交流使用 .zip
08-17
在这个项目中，我们使用了Python结合Selenium和PyQuery来实现对1688网站商品详情页的图片和标题的爬取，并将图片进行下载和压缩。 Selenium是一个强大的浏览器自动化工具，它能够模拟真实用户的行为，如点击按钮、...
selenium爬取qq音乐
qq_43537145的博客
03-24 864
今日学习（解析selenium爬取qq音乐，附带解析数据） 点此查看原博客 爬取QQ音乐官网指定歌手的前5首歌曲的基本信息和前五百条热门评论： selenium中文网点此学习selenium 简而言之，selenium就是运行在浏览器上面，相当于用户本身在操作的一个测试框架，用selenium爬取网页信息，实用性更强 下载安装selenium：pip install selenium 下载与本Chrome浏览器相对应版本的webdriver webdriver要与Chrome在同一个路径之下 创建浏览器对
2024年最全微众Fate-横向联邦学习-预测
最新发布
2401_84562425的博客
05-02 412
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
Selenium实战-同步网易云音乐歌单到qq音乐
loveofdrgon的博客
05-24 679
本文主要介绍selenium在爬虫脚本的实际应用。适合刚接触python，没使用过selenium的童鞋。(如果你是老司机路过的话，帮忙点个star吧) 　　项目地址 　　https://github.com/Denon/sync… 　　selenium介绍 　　selenium官网. 直接引用官网的话 　　Selenium automates browsers. That’s it! What ...
爬取QQ音乐(讲解爬虫思路)
weixin_30485291的博客
03-24 1335
一、问题描述： 本次爬取的对象是QQmusic，为自己后面做django音乐网站的开发获取一些资源。 二、问题分析： 由于QQmusic和网易音乐的方式差不多，都是讲歌曲信息放入到播放界面播放，在其他界面没有media的资源，喜马拉雅的则不是这样的，可以参考我爬取喜马拉雅的blog与代码：https://www.cnblogs.com/future-dream/p/10347...
Selenium模拟浏览器获取爬取QQ音乐歌词、评论等。
weixin_45735242的博客
04-01 2492
说明 请使用爬虫Selenium模拟浏览器获取爬取QQ音乐中你喜欢的某位歌手（可以是任意歌手）最受欢迎的前5首歌曲的歌词、流派、歌曲发行时间、评论条数、评论时间、评论点赞次数、评论内容具体(每一首歌的评论>=500条)。 如下图所示： 歌词、流派、歌曲发行时间、评论条数保存在: music_info.csv文件中。 评论时间、评论点赞次数、评论内容具体保存在: comments_info.csv文件中。 统计每首歌的每个评论点赞次数保存在: series.csv文件中。 请按照如下形式组织代码:
python+selenium 爬取网易云音乐评论
qq_41241926的博客
04-20 1413
写在前面 本文记录用python+selenium爬取网易云音乐评论，将其保存在文本文档中，每首歌评论用歌名命名。 爬取的网站：https://music.163.com/ 抓取效果如图： 使用的工具和编辑环境 python 3.6； selenium库，chrome浏览器； 编辑器：sublime text3 selenium安装可以直接pip： pip install selenium ...
【Python爬虫实战】使用Selenium爬取QQ音乐歌曲及评论信息
热门推荐
ATFWUS的博客
03-21 6万+
本文使用Selenium爬取QQ音乐歌曲及评论信息，面向新手，对使用到的技术有简单的介绍，附有完整代码。
Python爬取qq音乐的过程实例
weixin_44099558的博客
01-11 4537
一、前言 　qq music上的音乐还是不少的，有些时候想要下载好听的音乐，但有每次在网页下载都是烦人的登录什么的。于是，来了个qqmusic的爬虫。至少我觉得for循环爬虫，最核心的应该就是找到待爬元素所在url吧。   二、Python爬取QQ音乐单曲 爬虫步骤 1.确定目标 首先我们要明确目标，本次爬取的是QQ音乐歌手刘德华的单曲。 （百度百科）->分析目标（策略...
Python+selenium:关闭弹出框右上角“X”
qq_41793209的博客
02-27 7383
如上图所示：要关闭弹出框中的x按钮， 1）首先需定位弹出框alert=driver.switch_to_alert() 2）查看代码x按钮是个超链接，那么就使driver.find_element_by_link_text(‘退出’).click() 代码如下： from selenium import webdriver from time import sleep driver=webdri...
Python Selenium 爬取网易云音乐歌单名全解析与代码示例
本文将详细介绍如何使用Python的Selenium库来爬取网易云音乐（NetEase Music）的歌单名称。Selenium是一个强大的自动化测试工具，它允许我们模拟用户行为，包括在网页上执行JavaScript操作。在这个案例中，我们将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值