【爬虫】使用selenium爬取网易云音乐热评

已于 2023-11-29 21:15:10 修改
阅读量1k 收藏 17
点赞数 14
文章标签： 爬虫 selenium windows
于 2023-11-29 20:46:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49184448/article/details/134697890
版权

文章目录

网易云音乐热歌榜单热评

在使用selenium爬取网易云音乐热歌榜的基础上深度爬取网易云音乐热歌榜热评
在这里插入图片描述

在爬取到热歌榜单的歌曲url后深度爬取歌曲所有的评论数据，通过F12可以发现所有的评论数据在同一个div标签内，而对于热评来说只需要爬取前十五条数据即可，同时要注意页面中嵌套了frame在爬取时需要使用switch_to.frame()方法来切换页面frame以防定位不到元素。

tps://img-blog.csdnimg.cn/direct/f4d5facfc5bc4de78bfe6adbff878fee.png)

完整代码

from selenium import webdriver
from selenium.webdriver.common.by import By

# Edge驱动
driver = webdriver.Edge()

# 访问网易云音乐热歌榜
print("访问网易云音乐中..")
driver.get("https://music.163.com/#/discover/toplist?id=3778678")
driver
最低0.47元/天 解锁文章
【爬虫】使用selenium爬取网易云音乐热歌榜
weixin_49184448的博客
11-29 1973
使用selenium爬取网易云音乐热歌榜
使用selenium爬取网易云热门评论（超详细）
Harden13_的博客
07-08 2016
最近在研究怎么爬取网易云音乐的热门评论，发现使用selenium是最简单的，话不多说直接上思路步骤。 首先查看网页源代码发现在源代码里发现找不到歌曲的信息，可以得知是动态网页。 打开开发者工具的Network进行抓包，发现歌曲信息是存放在这个包里面的 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82
Selenium爬取网易云音乐评论
A1L__的博客
08-08 1334
Selenium爬取网易云音乐评论 一、爬取工具 1.1 selenium ​ selenium这是一个第三方库我们可以通过 pip install selenium来安装这个第三方库。 ​ Selenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，就像玩游戏用的按键精灵，可以按指定的命令自动操作。Selenium 测试工具直接操控浏览器中，就像真正的用户在操作一样。Selenium 可以根据的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否
使用selenium爬取网易云音乐
hanjinjian的博客
05-17 1034
import requests from selenium import webdriver import re import json from queue import Queue import threading from selenium.webdriver.chrome.options import Options class Music: def __init__(se...
使用selenium爬取网易云音乐所有歌单及链接
apollo_miracle的博客
12-15 5750
理论基础：https://blog.csdn.net/apollo_miracle/article/details/84915796 import time from selenium import webdriver class WYMusic(object): def __init__(self): self.driver = webdriver.Chrome...
使用selenium爬取网易云音乐所有分类的歌单
weixin_43550933的博客
07-04 635
大部分注释都有 import requests from lxml import etree from selenium import webdriver class Music: def __init__(self): self.driver=webdriver.Chrome() #该url为网易云音乐所有分类首页 self.url="https://music.163.com/#/discover/playlist/" #该方法为
Python利用selenium简单的爬取网易云歌曲排行榜
weixin_44930163的博客
01-19 3221
最近学习了一下selenuim和XPath,技术还很菜,简单的爬取了一下网易云歌曲的排行榜信息,最后保存到mongodb里面 要爬取的部分如下图所示: 爬取每个歌曲的排名,名称,时长,歌手。 创建mongodb连接对象,指定数据库和集合 # 创建mongodb连接对象 client = pymongo.MongoClient(host='localhost',port = 27017) # 指定数据库 db = client.test # 指定集合 collection = db.songList 创建
爬虫爬取网易云热评selenium
12-26
根据您提供的引用内容，我可以为您介绍一下使用Selenium爬取网易云音乐热评的方法。 首先，您需要安装Selenium库。您可以使用以下命令来安装Selenium： ```shell pip install selenium ``` 接下来，您需要下载对应...
163Music-master_爬虫_MongoDB_网易云音乐_scrapy_
10-02
**爬取网易云音乐的挑战与策略：** 1. **动态加载**：许多网页内容是通过JavaScript动态加载的，需要使用如Selenium或Scrapy的Splash中间件来模拟浏览器执行JavaScript。 2. **反爬策略**：网易云音乐可能会有反爬...
python+selenium 爬取网易云音乐评论
qq_41241926的博客
04-20 1511
写在前面 本文记录用python+selenium爬取网易云音乐评论，将其保存在文本文档中，每首歌评论用歌名命名。 爬取的网站：https://music.163.com/ 抓取效果如图： 使用的工具和编辑环境 python 3.6； selenium库，chrome浏览器； 编辑器：sublime text3 selenium安装可以直接pip： pip install selenium ...
python爬取网易云音乐热歌榜实例代码
09-16
在本篇文章里小编给大家整理的是关于python爬取网易云音乐热歌榜实例代码，需要的朋友们可以学习下。
用selenium进行网易云音乐进行评论爬取
johnchiao的博客
11-11 1152
用selenium进行网易云音乐进行评论爬取，然后做成词云图 这个是抓取刀郎-黄玫瑰的评论词云 以下是抓取的代码 #!/usr/bin/python # -*- coding: <encoding name> -*- import time from selenium import webdriver import re comment_list = [] # 定义评论列表文件...
Python + selenium爬取网易云音乐评论
懂一些计算机基础
09-02 1184
需要了解的知识：Python、H5、C3、JS本文使用开发环境：windows11、Python 3.11.4、PyCharm 2023.2、Selenium 4.3.0。
python selenium 爬取网易云音乐歌曲评论
Little Snow White
03-11 1184
目标网站 这是评论页 思路是先获取这一页全部歌曲的url，然后再逐个访问url获取评论 这里主要还是切换iframe的问题 打开歌曲的评论页后由于刷新了页面，要再切进iframe 结果： 完整代码： import time from selenium import webdriver class Song_Spider(): def __init__(self): ...
Python爬虫之实例---用selenium爬取网易云评论
caribbean666的博客
07-11 1524
Python爬虫之实例---用selenium爬取网易云评论
网易云爬虫评论（Selenium 方式）——part 1 前端内容获取
最新发布
weixin_44122457的博客
04-30 1379
我想要获取的是《5:20AM》这首网易云音乐的评论，然后进行文本分析。获取的目标数据为：用户名、评论内容、评论时间。拟采用Selenium的方式采用非登录的方式进行数据获取。《5:20AM》这首歌的url为：https://music.163.com/#/song?Frame：在HTML中， 元素用于在浏览器窗口中划分多个独立的区域，每个区域都能独立地加载文档。这是HTML4的特性，现在已经较少使用。
使用selenium爬取动态网页评论
using namespace 数学工具构造器;
05-02 905
爬取网站：http://www.santostang.com/2017/03/02/hello-world/ 首先定位到frame： 通过Ctrl+Shift+C定位，并且搜索frame，定位框架所在位置： 找到HTML代码： < iframe title = "livere" scrolling = "no" src = "https:/...
Python爬虫练习：爬取网易云音乐评论(2024附完整代码)
白诗。的博客
03-14 9357
爬取网易云音乐评论(2024附完整代码)
Python爬虫——selenium爬取网易云评论并做词云
霖hero
09-01 3746
大家好！我是霖hero 到点了上号网易云，很多人喜欢到夜深人静的时候，在网易云听音乐发表评论，正所谓：自古评论出人才，千古绝句随口来，奈何本人没文化，一句卧槽行天下！评论区集结各路大神，今天我们来爬取网易云音乐评论并做个词云图，看看大家都评论了啥。 目录 爬取分析 正式爬取 selenium 爬取网易云评论 获取子Frame内容 获取评论 保存评论 结果展示 制作词云 结果展示 爬取分析 首先我们打开网易云的某首歌曲，打开开发者工具，如下图所示： 通过观察可以发现，网易.
使用selenium爬取网易云音乐评论
06-08
好的，以下是使用Selenium爬取网易云音乐评论的步骤： 1. 安装Selenium和Chrome浏览器驱动。 ```python !pip install selenium ``` Chrome浏览器驱动下载地址：http://chromedriver.chromium.org/downloads 2. 导入必要的库和设置浏览器驱动路径。 ```python from selenium import webdriver from selenium.webdriver.common.keys import Keys import time # 设置浏览器驱动路径 driver_path = 'chromedriver的路径' ``` 3. 打开网易云音乐网站并搜索指定的歌曲。 ```python # 打开网易云音乐网站 driver = webdriver.Chrome(executable_path=driver_path) driver.get('https://music.163.com/') # 切换到iframe中 driver.switch_to.frame("contentFrame") # 搜索指定的歌曲 search = driver.find_element_by_xpath('//*[@id="m-search-input"]') search.send_keys('告白气球') search.send_keys(Keys.RETURN) # 等待页面加载完成 time.sleep(3) ``` 4. 打开歌曲的评论页面并切换到最新评论。 ```python # 打开歌曲详情页 song_link = driver.find_element_by_xpath('//*[@id="song-0"]/div[2]/div/div[1]/div[1]/a') song_link.click() # 点击展开评论 comment_button = driver.find_element_by_xpath('//*[@id="cnt_comment_count"]') comment_button.click() # 切换到最新评论 comment_tab = driver.find_element_by_xpath('//*[@id="comment-box"]/div[1]/div[1]/ul/li[2]/a') comment_tab.click() # 等待页面加载完成 time.sleep(3) ``` 5. 模拟滚动鼠标操作，加载更多评论。 ```python # 模拟滚动鼠标操作，加载更多评论 for i in range(10): driver.execute_script('window.scrollTo(0, document.body.scrollHeight)') time.sleep(2) ``` 6. 获取所有评论的用户名和内容。 ```python # 获取所有评论的用户名和内容 comment_list = driver.find_elements_by_xpath('//*[@id="comment-box"]/div[1]/div[3]/div') for comment in comment_list: username = comment.find_element_by_xpath('./div[2]/a').text content = comment.find_element_by_xpath('./div[1]/div[1]').text print(username, content) ``` 7. 关闭浏览器。 ```python # 关闭浏览器 driver.quit() ``` 完整代码如下： ```python from selenium import webdriver from selenium.webdriver.common.keys import Keys import time # 设置浏览器驱动路径 driver_path = 'chromedriver的路径' # 打开网易云音乐网站 driver = webdriver.Chrome(executable_path=driver_path) driver.get('https://music.163.com/') # 切换到iframe中 driver.switch_to.frame("contentFrame") # 搜索指定的歌曲 search = driver.find_element_by_xpath('//*[@id="m-search-input"]') search.send_keys('告白气球') search.send_keys(Keys.RETURN) # 等待页面加载完成 time.sleep(3) # 打开歌曲详情页 song_link = driver.find_element_by_xpath('//*[@id="song-0"]/div[2]/div/div[1]/div[1]/a') song_link.click() # 点击展开评论 comment_button = driver.find_element_by_xpath('//*[@id="cnt_comment_count"]') comment_button.click() # 切换到最新评论 comment_tab = driver.find_element_by_xpath('//*[@id="comment-box"]/div[1]/div[1]/ul/li[2]/a') comment_tab.click() # 等待页面加载完成 time.sleep(3) # 模拟滚动鼠标操作，加载更多评论 for i in range(10): driver.execute_script('window.scrollTo(0, document.body.scrollHeight)') time.sleep(2) # 获取所有评论的用户名和内容 comment_list = driver.find_elements_by_xpath('//*[@id="comment-box"]/div[1]/div[3]/div') for comment in comment_list: username = comment.find_element_by_xpath('./div[2]/a').text content = comment.find_element_by_xpath('./div[1]/div[1]').text print(username, content) # 关闭浏览器 driver.quit() ``` 注意：爬虫行为容易引起网站的反爬虫机制，使用时请注意合理使用，避免对网站造成影响。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值