【爬虫】使用selenium爬取网易云音乐热歌榜

最新推荐文章于 2024-06-07 13:33:45 发布

大数据·流浪法师

最新推荐文章于 2024-06-07 13:33:45 发布

阅读量1.7k

点赞数 9

文章标签：爬虫 selenium 数据库

本文链接：https://blog.csdn.net/weixin_49184448/article/details/134690286

版权

文章目录

网易云热歌榜

网易云热歌榜

在这里插入图片描述

踩坑：frame

F12查看网页源代码发现每一个歌曲都是tr标签包含在唯一的tbody标签内，那我们只要获取到所有的br标签就能得到想要的数据，但测试发现爬取后的数据为空或者找不到元素，最后发现是因为页面中嵌套了frame从而导致定位不到元素。
在这里插入图片描述

switch_to.frame()

需要使用switch_to.frame()方法来切换页面Frame

driver = webdriver.Edge()
driver.get("https://music.163.com/#/discover/toplist?id=3778678")
driver.switch_to.frame('g_iframe')

在这里插入图片描述

完整代码

from selenium

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

大数据·流浪法师

关注关注

9
点赞
踩
16

收藏

觉得还不错? 一键收藏
1
评论
【爬虫】使用selenium爬取网易云音乐热歌榜

使用selenium爬取网易云音乐热歌榜
复制链接

扫一扫

python selenium 爬取网易云音乐歌单名

Little Snow White

03-11

866

目标网站：

使用selenium爬取网易云音乐所有分类的歌单

weixin_43550933的博客

07-04

575

大部分注释都有 import requests from lxml import etree from selenium import webdriver class Music: def __init__(self): self.driver=webdriver.Chrome() #该url为网易云音乐所有分类首页 self.url="https://music.163.com/#/discover/playlist/" #该方法为

1 条评论您还未登录，请先登录后发表或查看评论

spring boot基于selenium批量订阅网易云音乐歌曲

最新发布

qq_42702229的博客

06-07

686

chrome浏览器登录网易云，从插件EditThisCookie中复制Coockie信息。插件，用来将cookie转成json。selenium设置cookie。chrome浏览器安装。

使用selenium爬取网易云音乐

hanjinjian的博客

05-17

943

import requests from selenium import webdriver import re import json from queue import Queue import threading from selenium.webdriver.chrome.options import Options class Music: def __init__(se...

python爬虫爬取网易云热歌榜top200

SimpleZihao的博客

05-12

2810

爬取网易热歌榜爬虫小练习 import requests from lxml import etree # 热歌榜首页网址 url = 'https://music.163.com/discover/toplist?id=3778678' # 歌曲下载链接前半部分 url_base = 'http://music.163.com/song/media/outer/url?id=' # U-A伪装，模拟浏览器 headers = { 'User-Agent': 'Mozilla/5.0 (Wind

python爬取网易云音乐百强榜单

dongbao520的博客

05-23

2716

#引用第三方库，re，requests库 import requests #用来提取 import re #用来正则 #对网页进行提取，把里面的信息提取出来 def html(url): try:#看到headers别慌，这都是复制来的 headers = { 'authority': 'music.163.com', 'upgrade-insecure-requests': '1', 'user-agent'

【爬虫】使用selenium爬取网易云音乐热评

weixin_49184448的博客

11-29

836

使用selenium爬取网易云音乐热评

用selenium和BeautifulSoup爬取网易云音乐歌手id

01-20

本人正在点亮爬虫技能树，写blog以记录 selenium和bs4介绍 Selenium 自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面...我们爬取页面为网易云音乐的歌

爬虫（七）通过Selenium爬取网易云音乐评论

weixin_41169182的博客

09-15

3909

详解python selenium 爬取网易云音乐歌单名

09-19

### Python Selenium爬取网易云音乐歌单名详解 #### 一、引言在Web自动化测试领域，Selenium 是一个非常强大的工具，它不仅能够帮助我们进行自动化测试，还可以用于网页爬虫。本文将详细介绍如何使用 Python 和 ...

Python爬虫入门教程15：音乐网站数据的爬取

chinaherolts2008的博客

02-04

4730

基本开发环境???? Python 3.6 Pycharm 相关模块的使用???? import requests import os 安装Python并添加到环境变量，pip安装需要的相关模块即可。一、????明确需求爬取某音乐网站的排行榜歌曲。二、????网页数据分析 1、F12或者鼠标右键点击检查打开开发者工具，点击播python基础教程放音乐，下面会加载出音乐数据。 # 干饭人之歌音频数据地址： https://gm-sycdn.kuwo.cn/82c2c756b7ebeacb90783

Python爬取某音乐网站

lmttlw的博客

09-03

2405

爬取某音乐网站

使用selenium抓取网易云音乐数据

手把手教你学编程

04-14

1380

Python爬虫入门教程15：音乐网站数据的爬取，深入理解JVM

m0_60750088的博客

03-28

1015

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

【爬虫】爬取网易云热门歌曲歌曲信息-歌手、链接、歌手信息

码农-Vax天道的时间宝藏

02-28

913

# By Vax # At time - 2020/12/27 21:59 # linked from import requests,json from lxml import etree url = 'https://music.163.com/discover/artist' singer_infos = [] # ---------------通过url获取该页面的内容，返回xpath对象 def get_xpath(url): headers = { 'User-.

python爬取网易云飙升榜数据

m0_62004321的博客

12-05

4455

Python3---站在大佬肩膀写爬虫-爬取网易云音乐热歌榜歌曲热评（精彩评论）

qq_42448339的博客

12-26

1549

@Python 站在前人肩膀写爬虫-爬取网易云音乐热歌榜歌曲热评（精彩评论） 网易云音乐是我比较喜欢的一个音乐平台，对于特别热爱听歌的人来说，网易云音乐精准的音乐定位和独特歌曲推荐，让人使用起来很舒服。那个。。。我也就不多比比，直接开整正式开讲首先我们先打开网易云音乐网页端，别问我为什么不打开网易云音乐的客户端或者移动端，我不想说~ emmmm，好吧，主要是对于一个才入门Python的新...

Python爬虫爬取网易云的音乐