使用selenium爬取网易云热门评论（超详细）

最新推荐文章于 2024-05-08 18:50:52 发布
最新推荐文章于 2024-05-08 18:50:52 发布
阅读量1.8k 收藏 13
点赞数 2
文章标签： 爬虫 selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Harden13_/article/details/118560254
版权

最近在研究怎么爬取网易云音乐的热门评论，发现使用selenium是最简单的，话不多说直接上思路步骤。

首先查看网页源代码发现在源代码里发现找不到歌曲的信息，可以得知是动态网页。

打开开发者工具的Network进行抓包，发现歌曲信息是存放在这个包里面的

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
           'cookie': '*********'  # 如果不添加cookie信息，请求返回的信息会提示你为登录
           }
data = {
    'params': '6wxc4PLp9lMOQMu+FF93NbG3bFpEeA6clr9Bm2FjxcQkJyWlFVYgWasxQoxzDo43qwn1jYIji1/niLYLhXNnahmUtBuMYM79OKfp2Er0AKZ/wml3breegMfEZRP+odvJL+oOzcr+RWv4iXCWpBkKDpUogQvC6eHtUegXGQ9zV25O5rlgblCcOCbjyXYo2VSfL2FrV2IG2l9L91Jvjatm+XBSWYldqioI4bpp4A6/w0Y=',
    'encSecKey': '5eb65b40a5489771b0f4cd3e6e180c5ddc8da10d497d6c08d041d3a3505543955eb7d90cc2090c30aa9b25136bfecaa527cfbc37202837f8c4f0
最低0.47元/天 解锁文章
「已注销」
关注
  • 2
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
详解python selenium 爬取网易云音乐歌单名
09-19
主要介绍了python selenium爬取网易云音乐歌单名，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
使用selenium自动化工具爬取微博内容和评论
weixin_44134535的博客
11-03 6780
使用selenium自动化测试工具爬取微博用户的微博以及相应的评论
爬虫（七）通过Selenium爬取网易云音乐评论
weixin_41169182的博客
09-15 3813
文正selenium相关介绍selenium环境配置解析网易云音乐评论使用selenium爬取网易云音乐评论Selenium的缺陷 selenium相关介绍 Selenium是一个用于Web应用程序测试的工具，它直接运行在浏览器中，就像真正的用户在操作一样。至于它有什么样的作用，慢慢来说。 如果我们去写web应用，我们该怎么封锁别人的爬虫呢。 我们常用的反爬手段有通过校检headers字段来反爬、...
网易云爬虫评论（Selenium 方式）——part 1 前端内容获取
weixin_44122457的博客
04-30 691
我想要获取的是《5:20AM》这首网易云音乐的评论，然后进行文本分析。获取的目标数据为：用户名、评论内容、评论时间。拟采用Selenium的方式采用非登录的方式进行数据获取。《5:20AM》这首歌的url为：https://music.163.com/#/song?Frame：在HTML中， 元素用于在浏览器窗口中划分多个独立的区域，每个区域都能独立地加载文档。这是HTML4的特性，现在已经较少使用。
爬取b站任意视频下的所有评论【附完整代码】
榕城候佳人的博客
08-15 6255
今天花了一上午探究如何用selenium获取b站视频下面的评论，一开始只是想用一个视频来练练手，后面逐渐改成了所有视频都适用的完整代码。因为我是用的jupyter，所以整个代码包括两个部分。下面这段代码用于完成获取自动登录b站所需的cookie。下面是第二段代码，具体讲解我会放在b站上。下面的代码大家可以直接运行，还可以更换视频地址。
用selenium获取某东商品用户评论来做数据分析
zm024212的博客
09-25 1783
如图需要获取小米11的用户评论 网址：https://item.jd.com/100009958327.html 1.分析网页会发现利用selenium不用处理复杂的反爬会比较好（不过在此需要对selenium有扎实的基本功） 我们需要获取的信息有： 买 家 昵 称 ， 手机颜色, 配置, 评 论 时 间, 买 家 评 星, 评论 2.接下来导入模块创建浏览器对象： from selenium.webdriver import Chrome from selenium.webdr...
Selenium 爬取评论数据，就是这么简单！
热门推荐
技术杂谈
11-20 1万+
本文来自作者 秦子敬 在 GitChat 上分享「如何利用 Selenium 爬取评论数据？」，「阅读原文」查看交流实录 「文末高能」 编辑 | 飞鸿 一、前言 我们知道，如今的 web 网页数据很多是动态加载的，普通的爬虫只是抓取静态的网页。实用性很差，因此，我们需要使用 Selenium 来爬取动态数据。评论区的数据，大多数情况下，都需要下拉刷新才能加载出来。而 S
用selenium和BeautifulSoup爬取网易云音乐歌手id
01-20
本人正在点亮爬虫技能树，写blog以记录 selenium和bs4介绍 Selenium 自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面...我们爬取页面为网易云音乐的歌
python爬取网易云音乐评论
09-19
本篇将深入讲解如何使用Python来爬取网易云音乐的评论信息，这对于数据分析、音乐爱好者或者想学习网络爬虫的人来说具有很高的参考价值。 首先，我们需要导入必要的库。在示例代码中，使用了`requests`库来发送HTTP...
使用scrapy和selenium结合爬取网易新闻内容
06-09
使用scrapy和selenium结合爬取网易新闻内容
python3网络爬虫--MitmProxy+Selenium某音视频抓取（附源代码）
懷淰メ的博客
06-03 1599
本人已经撰写过几篇关于某音的文章：因为某音推出了网页版本，本次使用Selenium配合mitmdump实现全自动抓取某音网页视频数据，可以解析出视频名称、视频地址、无水印地址等…。本次使用-MitmProxy+Selenium抓取了一些视频数据，通过设置Selenium的webdriver驱动隐藏了爬虫身份，为抓取数据提供了新思路。思路、代码方面有什么不足欢迎各位大佬指正、批评！
Selenium实现MOOC课程评论的自动爬取
最新发布
2301_79585132的博客
05-08 871
在当今信息化爆炸的时代，我们想要获取某些网站中的某些数据信息（如淘宝的用户使用协议、MOOC课网站的某一课程的评论等）都会有大量相关内容涌现在我们眼前，我们想要了解这些内容可能要一行一页的翻看记录收集（我们将此称为传统方法），按照传统方法完成一个项目可能80%～90%的时间用于获取和处理数据，为了提高我们的数据获取和处理的效率，帮助我们自动完成数据的翻看记录过程，爬虫技术随之而生。爬虫，也称为网络爬虫或蜘蛛程序（spider），是一种自动获取网页内容的程序或脚本。
python爬虫利用selenium爬取b站近期热门视频
weixin_63583875的博客
11-23 644
python爬虫利用selenium爬取b站近期热门视频，获取视频相关信息。
使用selenium 爬取豆瓣《千与千寻》影评
qq_40019973的博客
05-12 1901
这个是老师要求爬两万条数据的时候，顺便做的，我爬取的是《千与千寻》 直接上代码吧 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import re import csv import pymysql ...
Python爬虫之实例---用selenium爬取网易云评论
caribbean666的博客
07-11 1288
Python爬虫之实例---用selenium爬取网易云评论
Selenium爬取网易云音乐评论
A1L__的博客
08-08 1146
Selenium爬取网易云音乐评论 一、爬取工具 1.1 selenium ​ selenium这是一个第三方库我们可以通过 pip install selenium来安装这个第三方库。 ​ Selenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，就像玩游戏用的按键精灵，可以按指定的命令自动操作。Selenium 测试工具直接操控浏览器中，就像真正的用户在操作一样。Selenium 可以根据的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否
python selenium 模拟浏览器进行爬取B站评论
面向生活编程
03-12 1314
直接上代码，selenium比较无脑。 日后有空再补充 ps：记得装好驱动噢，不行的话可以留言，我私发驱动给你~ from selenium import webdriver from time import sleep l1=[] print("请输入av号:") av=input() from selenium.common.exceptions import NoSuchElementEx...
Selenium+Python3爬取微博我发出的评论信息
weixin_43954226的博客
12-03 470
Selenium+Python3爬取微博我发出的评论信息需求代码注： 需求 记录对话信息：对话文本、时间、用户、被回复链接、被回复用户、被回复文本。 将数据信息持久化保存，可选择截图。 代码 # coding:utf8 import datetime import os import re import time from selenium import webdriver from selenium.webdriver import ActionChains from selenium.webdr
使用selenium爬取网易云音乐评论
06-08
好的，以下是使用Selenium爬取网易云音乐评论的步骤： 1. 安装Selenium和Chrome浏览器驱动。 ```python !pip install selenium ``` Chrome浏览器驱动下载地址：http://chromedriver.chromium.org/downloads 2. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值