用selenium和BeautifulSoup爬取网易云音乐歌手id

最新推荐文章于 2023-03-28 09:44:46 发布
最新推荐文章于 2023-03-28 09:44:46 发布
阅读量927 收藏 4
点赞数 1
分类专栏： 爬虫 文章标签： selenium python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40017938/article/details/104757977
版权

本人正在点亮爬虫技能树，写blog以记录

selenium和bs4介绍

Selenium 自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

观察页面信息

我们爬取页面为网易云音乐的歌手界面，发现不同专栏的url对应的id参数不同，例如：

  • https://music.163.com/#/discover/artist/cat?id=1001 华语男歌手
  • https://music.163.com/#/discover/artist/cat?id=1002 华语女歌手
  • …
    在发现对应的每个专栏的A-Z索引对应的initial参数不同，例如：
  • https://music.163.com/#/discover/artist/cat?id=1001&initial=65 华语男歌手A索引
  • https://music.163.com/#/discover/artist/cat?id=100ini1&initial=66 华语男歌手B索引
  • …
    从A-Z对应initial参数65-90
    网易云音乐歌手栏
    通过更改url后面的id参数和initial参数获得不同页面
def main():
    url = 'https://music.163.com/#/discover/artist/cat?id='
    items = [1001,1002,1003,2001,2002,2003,4001,4002,4003,6001,6002,6003,7001,7002,7003]
    initials = [-1] + [i for i in range(
最低0.47元/天 解锁文章
想想uzi会怎么做7
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
利用Requests和BeautifulSoup爬取网易云音乐热歌榜
qq_44111805的博客
05-01 1411
一、爬虫代码 、from urllib import request from bs4 import BeautifulSoup import re import requests import time class Music(object): def __init__(self, baseurl, path): head = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKi
网易云音乐（一）爬取全部歌手及歌手id
wanhaiwei的博客
11-21 6985
  动听的音乐，走心的评论。 总会使人不断的遐想... 本系列将爬取分析网易云音乐最动听的音乐，最走心的评论。 本次爬取网易云音乐的所以歌手及歌手id。   一、网页分析 1.标签   通过点击左边已经分好类的标签及顶部的ABC等分类标签，得到网址地址参数。 例如：https://music.163.com/#/discover/artist/cat?id=1001&amp...
网络爬虫2：抓取网易云音乐评论用户ID及主页地址
02-19 2809
本文目标： 上篇我们获得了热门歌手歌曲的ID和URL地址。本篇进一步获取评论用户ID及主页地址。 终极目标： 1、通过热门歌手，抓取歌曲ID。 2、通过歌曲ID，抓取评论用户ID。 3、通过评论用户ID，发送定向推送消息。 上一篇完成了步骤1，本文完成步骤2。 题外话：上篇用的requests无页面的方法获取歌曲ID，速度比较快，但是获取到2000条左右就会被服务器识别成爬虫而被禁IP，通过连接手机热点，重启飞行模式后再连接就又可以获取2000条。 上篇我们用MYSQL存储爬取结果，本次也将使用相同方法
Python采集网易云音乐
Python_sn的博客
10-28 1807
  大家好，我是不温卜火，是一名计算机学院大数据专业大三的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只在csdn这一个平台进行更新，博客主页：https://buwenbuhuo.blog.csdn.net/。 PS：由于现在越来越多的人未经本人同意直接爬取博主本人.
python音乐不能循环播放_H5音乐如何在移动端上 自动播放，还能自动循环播放...
weixin_30064949的博客
12-24 123
audio1 音乐要一直循环，audio2 只有在点击按钮时才会播放loop="loop" 这个方法在手机上实现不了 我的那些JavaScript 也不起作用百度了一天，也没能解决以下是JavaScript 代码function audioAutoPlay(id){var audio1 = document.getElementById(id);audio1.play();document...
详解python selenium 爬取网易云音乐歌单名
09-19
本文将详细介绍如何使用 Python 和 Selenium 来爬取网易云音乐中的歌单名称。通过实际操作和代码示例，你将学会如何切换 iframe、处理页面翻页以及如何优雅地处理网页元素的定位。 #### 二、准备工作 在正式开始...
Python使用Selenium+BeautifulSoup爬取淘宝搜索页
09-20
主要为大家详细介绍了Python使用Selenium+BeautifulSoup爬取淘宝搜索页，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
python利用selenium爬取网易云入驻歌手id、歌手主页id、歌手姓名、歌手粉丝数量
PINK_PEACH_STAR的博客
06-14 1137
首先需要访问入驻歌手页，可以看到两个a结点中的链接，其中第一个链接为歌手主页，后面的数字是其主页id；第二个链接为歌手的信息主页，后面的数字为歌手id，通过第二个链接的访问可以查看歌手的粉丝数量 成功查看粉丝数量 注意事项： 1.网页源代码中使用了框架，所以需要使用selenium的switch_to_frame("g_iframe")功能查看框架源代码 2. 入驻歌手界面需要一直往下滑动滑动条，滑动到底部，才能获取所有的入驻歌手信息 代码如下： from selenium i..
网易云音乐C#爬虫
01-21
网易云音乐 C# 爬虫，使用NeteaseCloudMusicApi的C#例子 https://www.npmjs.com/package/NeteaseCloudMusicApi
流行音乐
02-28
流行音乐
用Python爬取网易云音乐全部歌手信息（歌手id和歌手名字）
热门推荐
zhouzying的博客
05-27 1万+
本文介绍用Python爬取网易云音乐全部歌手信息，歌手的id和歌手的名字。 这里我们来看一下歌手周杰伦的id号： 通过浏览器的检查元素，我们可以查看周杰伦的id号为6452。 要想爬取这些数据，就必须在使用requests库时设置好请求的头部（headers）特别是cookie。 接下来开始分析： 首先是找到网易云音乐歌手网页： 在左侧我们可以看到歌手的分类，每个分类都对应一个...
Python requests 获取网易云歌手ID,根据ID下载歌手前50歌曲及歌词
weixin_41960911的博客
11-15 2416
获取歌手ID代码版 #!/usr/bin/env python # -*- coding:utf-8 -*- """ time: 2018-11-15 author: pqx email:369030340@qq.com ""&am
python 爬网易云歌手id和歌手姓名
啦啦啦~~
02-27 1261
成功爬网易云的关键点在于获取网易云网站的框架源码，打开网易云音乐然后右键查看源码 发现歌手的id源码中找不到 ，观察源码会发现有标签iframe即网页嵌套网页，打开开发者工具，输入歌手id能够定位到歌手的id位置，右击查看框架源码 会发现很多东西藏在框架源码里，寻找框架源码的链接规律，依此遍历。 源码如下： import requests import csv from bs4 import B...
手把手教你写Python网络爬虫：网易云音乐歌单
m0_59162248的博客
03-28 6761
*urllib.request：**这是Python自带的库，不需要单独安装，它的作用是为我们打开url获取html的内容。虽然这样可以看得更清楚，但不适用于我们的爬虫程序，爬一页就打开一页效率太低，所以我们用一个叫PhantomJS的工具代替真实的浏览器。这里说的动态网页，与网页上的各种动画、滚动字幕等视觉上的动态效果没有直接关系，动态网页也可以是纯文字内容的，也可以是包含各种动画的内容，这些只是网页具体内容的表现形式，无论网页是否具有动态效果，只要是采用了动态网站技术生成的网页都可以称为动态网页。
Python3.7 爬虫（三）使用 Urllib2 与 BeautifulSoup4 爬取网易云音乐歌单
SmileSB101-(ZXB)的博客
04-09 9458
版权声明：本文为 wintersmilesb101 -（个人独立博客– http://wintersmilesb101.online 欢迎访问）博主原创文章，未经博主允许不得转载。 废话在前面的的博客中我们已经能够使用 python3 配合自带的库或者第三方库抓取以及解析网页，我们今天来试试抓取网易云音乐的歌单信息分析网页要战胜敌人，必须要先了解敌人，然后设计对策，一招致命！ 首先浏览器打开网页,
[Python][爬虫02]requests+BeautifulSoup实例:抓取网易云歌单
身披白袍的博客
05-06 2941
上一篇利用python标准库中的“urllib+正则表达式”的方式提取了B站首页的部分数据，这一篇将利用上一篇介绍过的requests以及BeautifulSoup的方式进行另一个爬虫的实现。
Win7，64位，Python使用Beautiful Soup 4抓取网易云音乐歌单中的歌曲
Huhuang的专栏
03-04 1975
使用Beautiful soup 4抓取网易云音乐歌单（http://music.163.com/#/playlist?id=569020058）中的歌曲 安装Beautiful soup 4成功后，可以像下面这样导入Beautiful soup 4模块： >>> import bs4 >>>  抓取歌曲的代码 #encoding=utf8 impor
使用selenium爬取网易云音乐评论
最新发布
06-08
好的，以下是使用Selenium爬取网易云音乐评论的步骤： 1. 安装Selenium和Chrome浏览器驱动。 ```python !pip install selenium ``` Chrome浏览器驱动下载地址：http://chromedriver.chromium.org/downloads 2. 导入必要的库和设置浏览器驱动路径。 ```python from selenium import webdriver from selenium.webdriver.common.keys import Keys import time # 设置浏览器驱动路径 driver_path = 'chromedriver的路径' ``` 3. 打开网易云音乐网站并搜索指定的歌曲。 ```python # 打开网易云音乐网站 driver = webdriver.Chrome(executable_path=driver_path) driver.get('https://music.163.com/') # 切换到iframe中 driver.switch_to.frame("contentFrame") # 搜索指定的歌曲 search = driver.find_element_by_xpath('//*[@id="m-search-input"]') search.send_keys('告白气球') search.send_keys(Keys.RETURN) # 等待页面加载完成 time.sleep(3) ``` 4. 打开歌曲的评论页面并切换到最新评论。 ```python # 打开歌曲详情页 song_link = driver.find_element_by_xpath('//*[@id="song-0"]/div[2]/div/div[1]/div[1]/a') song_link.click() # 点击展开评论 comment_button = driver.find_element_by_xpath('//*[@id="cnt_comment_count"]') comment_button.click() # 切换到最新评论 comment_tab = driver.find_element_by_xpath('//*[@id="comment-box"]/div[1]/div[1]/ul/li[2]/a') comment_tab.click() # 等待页面加载完成 time.sleep(3) ``` 5. 模拟滚动鼠标操作，加载更多评论。 ```python # 模拟滚动鼠标操作，加载更多评论 for i in range(10): driver.execute_script('window.scrollTo(0, document.body.scrollHeight)') time.sleep(2) ``` 6. 获取所有评论的用户名和内容。 ```python # 获取所有评论的用户名和内容 comment_list = driver.find_elements_by_xpath('//*[@id="comment-box"]/div[1]/div[3]/div') for comment in comment_list: username = comment.find_element_by_xpath('./div[2]/a').text content = comment.find_element_by_xpath('./div[1]/div[1]').text print(username, content) ``` 7. 关闭浏览器。 ```python # 关闭浏览器 driver.quit() ``` 完整代码如下： ```python from selenium import webdriver from selenium.webdriver.common.keys import Keys import time # 设置浏览器驱动路径 driver_path = 'chromedriver的路径' # 打开网易云音乐网站 driver = webdriver.Chrome(executable_path=driver_path) driver.get('https://music.163.com/') # 切换到iframe中 driver.switch_to.frame("contentFrame") # 搜索指定的歌曲 search = driver.find_element_by_xpath('//*[@id="m-search-input"]') search.send_keys('告白气球') search.send_keys(Keys.RETURN) # 等待页面加载完成 time.sleep(3) # 打开歌曲详情页 song_link = driver.find_element_by_xpath('//*[@id="song-0"]/div[2]/div/div[1]/div[1]/a') song_link.click() # 点击展开评论 comment_button = driver.find_element_by_xpath('//*[@id="cnt_comment_count"]') comment_button.click() # 切换到最新评论 comment_tab = driver.find_element_by_xpath('//*[@id="comment-box"]/div[1]/div[1]/ul/li[2]/a') comment_tab.click() # 等待页面加载完成 time.sleep(3) # 模拟滚动鼠标操作，加载更多评论 for i in range(10): driver.execute_script('window.scrollTo(0, document.body.scrollHeight)') time.sleep(2) # 获取所有评论的用户名和内容 comment_list = driver.find_elements_by_xpath('//*[@id="comment-box"]/div[1]/div[3]/div') for comment in comment_list: username = comment.find_element_by_xpath('./div[2]/a').text content = comment.find_element_by_xpath('./div[1]/div[1]').text print(username, content) # 关闭浏览器 driver.quit() ``` 注意：爬虫行为容易引起网站的反爬虫机制，使用时请注意合理使用，避免对网站造成影响。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值