爬虫实战(二) 用Python爬取网易云歌单

最新推荐文章于 2024-09-26 20:17:44 发布
最新推荐文章于 2024-09-26 20:17:44 发布
阅读量4k 收藏 81
点赞数 9
分类专栏： 网络爬虫 文章标签： 网络爬虫 Python requests selenium xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wsmrzx/article/details/89188141
版权

最近，博主喜欢上了听歌，但是又苦于找不到好音乐，于是就打算到网易云的歌单中逛逛

本着 “用技术改变生活” 的想法，于是便想着写一个爬虫爬取网易云的歌单，并按播放量自动进行排序

这篇文章，我们就来讲讲怎样爬取网易云歌单，并将歌单按播放量进行排序，下面先上效果图

在这里插入图片描述

1、用 requests 爬取网易云歌单

打开 网易云音乐 歌单首页，不难发现这是一个静态网页，而且格式很有规律，爬取起来应该十分简单

按照以前的套路，很快就可以写完代码，无非就是分为下面几个部分：

（1）获取网页源代码

这里我们使用 requests 发送和接收请求，核心代码如下：

import requests
def get_page(url):
    # 构造请求头部
    headers = {
        'USER-AGENT':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }
    # 发送请求，获得响应
    response = requests.get(url=url,headers=headers)
    # 获取响应内容
    html = response.text
    return html
（2）解析网页源代码

解析数据部分我们使用 xpath（对于 xpath 的语法不太熟悉的朋友，可以看看博主之前的文章）

在这里插入图片描述

在这里插入图片描述

核心代码如下：

from lxml import etree
# 解析网页源代码，获取数据
def parse4data(self,html):
    html_elem = etree.HTML(html)
    # 播放量
    play_num = html_elem.xpath('//ul[@id="m-pl-container"]/li/div/div/span[@class="nb"]/text()')
    # 歌单名称
    song_title = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[1]/a/@title')
    # 歌单链接
    song_href = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[1]/a/@href')
    song_link = ['https://music.163.com/#'+item for item in song_href]
    # 用户名称
    user_title = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[2]/a/@title')
    # 用户链接
    user_href = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[2]/a/@href')
    user_link = ['https://music.163.com/#'+item for item in user_href]
    # 将数据打包成列表，其中列表中的每一个元素是一个字典，每一个字典对应一份歌单信息
    data = list(map(lambda a,b,c,d,e:{'播放量':a,'歌单名称':b,'歌单链接':c,'用户名称':d,'用户链接':e},play_num,song_title,song_link,user_title,user_link))
    # 返回数据
    return data

# 解析网页源代码，获取下一页链接
def parse4link(self,html):
    html_elem = etree.HTML(html)
    # 下一页链接
    href = html_elem.xpath('//div[@id="m-pl-pager"]/div[@class="u-page"]/a[@class="zbtn znxt"]/@href')
    # 如果为空，则返回 None；如果不为空，则返回链接地址
    if not href:
        return None
    else:
        return 'https://music.163.com/#' + href[0]
（3）完整代码
import requests
from lxml import etree
import json
import time
import random

class Netease_spider:
    # 初始化数据
    def __init__(self):
        self.originURL = 'https://music.163.com/#/discover/playlist'
        self.data = list()

    # 获取网页源代码
    def get_page(self,url):
        headers = {
            'USER-AGENT':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
        }
        response = requests.get(url=url,headers=headers)
        html = response.text
        return html

    # 解析网页源代码，获取数据
    def parse4data(self,html):
        html_elem = etree.HTML(html)
        play_num = html_elem.xpath('//ul[@id="m-pl-container"]/li/div/div/span[@class="nb"]/text()')
        song_title = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[1]/a/@title')
        song_href = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[1]/a/@href')
        song_link = ['https://music.163.com/#'+item for item in song_href]
        user_title = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[2]/a/@title')
        user_href = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[2]/a/@href')
        user_link = ['https://music.163.com/#'+item for item in user_href]
        data = list(map(lambda a,b,c,d,e:{'播放量':a,'歌单名称':b,'歌单链接':c,'用户名称':d,'用户链接':e},play_num,song_title,song_link,user_title,user_link))
        return data

    # 解析网页源代码，获取下一页链接
    def parse4link(self,html):
        html_elem = etree.HTML(html)
        href = html_elem.xpath('//div[@id="m-pl-pager"]/div[@class="u-page"]/a[@class="zbtn znxt"]/@href')
        if not href:
            return None
        else:
            return 'https://music.163.com/#' + href[0]

    # 开始爬取网页
    def crawl(self):
        # 爬取数据
        print('爬取数据')
        html = self.get_page(self.originURL)
        data = self.parse4data(html)
        self.data.extend(data)
        link = self.parse4link(html)
        while(link):
            html = self.get_page(link)
            data = self.parse4data(html)
            self.data.extend(data)
            link = self.parse4link(html)
            time.sleep(random.random())
        # 处理数据，按播放量进行排序
        print('处理数据')
        data_after_sort = sorted(self.data,key=lambda item:int(item['播放量'].replace('万','0000')),reverse=True)
        # 写入文件
        print('写入文件')
        with open('netease.json','w',encoding='utf-8') as f:
            for item in data_after_sort:
                json.dump(item,f,ensure_ascii=False)

if __name__ == '__main__':
    spider = Netease_spider()
    spider.crawl()
    print('Finished')

2、用 selenium 爬取网易云歌单

然而，事情真的有这么简单吗？

当我们运行上面的代码的时候，会发现解析网页源代码部分，返回的竟然是空列表！

这是为什么呢？敲重点，敲重点，敲重点，这绝对是一个坑啊！

我们重新打开浏览器，认真观察网页的源代码

在这里插入图片描述

原来，我们所提取的元素被包含在 <iframe> 标签内部，这样我们是无法直接进行定位的

因为 iframe 会在原有页面中加载另一个页面，当我们需要获取内嵌页面的元素时，需要先切换到 iframe 中

明白了原理之后，重新修改一下上面的代码

思路是利用 selenium 获取原有网页，再使用 switch_to.frame() 方法切换到 iframe 中，返回内嵌网页

需要修改的地方是获取网页源代码的函数，另外也需要在初始化数据的函数中实例化 webdriver，完整代码如下：

from selenium import webdriver
from lxml import etree
import json
import time
import random

class Netease_spider:
    # 初始化数据（需要修改）
    def __init__(self):
        # 无头启动 selenium
        opt = webdriver.chrome.options.Options()
        opt.set_headless()
        self.browser = webdriver.Chrome(chrome_options=opt)
        self.originURL = 'https://music.163.com/#/discover/playlist'
        self.data = list()

    # 获取网页源代码（需要修改）
    def get_page(self,url):
        self.browser.get(url)
        self.browser.switch_to.frame('g_iframe')
        html = self.browser.page_source
        return html

    # 解析网页源代码，获取数据
    def parse4data(self,html):
        html_elem = etree.HTML(html)
        play_num = html_elem.xpath('//ul[@id="m-pl-container"]/li/div/div/span[@class="nb"]/text()')
        song_title = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[1]/a/@title')
        song_href = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[1]/a/@href')
        song_link = ['https://music.163.com/#'+item for item in song_href]
        user_title = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[2]/a/@title')
        user_href = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[2]/a/@href')
        user_link = ['https://music.163.com/#'+item for item in user_href]
        data = list(map(lambda a,b,c,d,e:{'播放量':a,'歌单名称':b,'歌单链接':c,'用户名称':d,'用户链接':e},play_num,song_title,song_link,user_title,user_link))
        return data

    # 解析网页源代码，获取下一页链接
    def parse4link(self,html):
        html_elem = etree.HTML(html)
        href = html_elem.xpath('//div[@id="m-pl-pager"]/div[@class="u-page"]/a[@class="zbtn znxt"]/@href')
        if not href:
            return None
        else:
            return 'https://music.163.com/#' + href[0]

    # 开始爬取网页
    def crawl(self):
        # 爬取数据
        print('爬取数据')
        html = self.get_page(self.originURL)
        data = self.parse4data(html)
        self.data.extend(data)
        link = self.parse4link(html)
        while(link):
            html = self.get_page(link)
            data = self.parse4data(html)
            self.data.extend(data)
            link = self.parse4link(html)
            time.sleep(random.random())
        # 处理数据，按播放量进行排序
        print('处理数据')
        data_after_sort = sorted(self.data,key=lambda item:int(item['播放量'].replace('万','0000')),reverse=True)
        # 写入文件
        print('写入文件')
        with open('netease.json','w',encoding='utf-8') as f:
            for item in data_after_sort:
                json.dump(item,f,ensure_ascii=False)

if __name__ == '__main__':
    spider = Netease_spider()
    spider.crawl()
    print('Finished')

这样，得到目前网易云音乐中播放量排名前十的歌单如下（哈哈，又可以愉快的听歌啦）：

  1. 2018年度最热新歌TOP100
  2. 听说你也在找好听的华语歌
  3. 精选 | 网络热歌分享
  4. 隔壁老樊的孤单
  5. 温柔暴击 | 沉溺于男友音的甜蜜乡
  6. 谁说翻唱不好听
  7. 若是心怀旧梦 就别再无疾而终
  8. KTV必点：有没有一首歌，唱着唱着就泪奔
  9. 化妆拍照BGM.
  10. 会讲故事的男声 歌词唱的太像自己
半虹
关注
专栏目录
网易云歌单爬取
05-23 1936
import time import random from tqdm import tqdm import requests from lxml import html import pandas as pd class Spider_163musicPlayList(object): def __init__(self, playList_num=1000): self.playList_num = playList_num self.website_url.
某云音乐VIP歌曲解锁：Python爬虫实战攻略
AI心易行者
08-08 2649
网络爬虫作为数据获取的重要手段，为我们打开了通往无限可能的大门。本次实战展示了如何通过 Python 实现复杂场景下的数据提取，同时也警醒我们在技术探索的旅途中，务必保持敬畏之心，合法合规地运用技术力量。未来，随着技术的进步和法律框架的完善，爬虫技术的应用将更加广泛且规范。本文虽以破解付费下载为案例，但意在传授技术而非鼓励违规行为。请始终在合法、合规的前提下，探索技术的边界。对于技术爱好者而言，开源项目如PlugLink。
网易云音乐歌单爬取
qq_62949330的博客
10-25 1050
网易云音乐歌单爬取
Python爬虫使用实例-网抑云歌手热门单曲top50
最新发布
路过人间
09-26 1396
防止创建title时字符报错导致中断；文件名按歌手自定义，根据标签的内容动态生成 filename；多线程下载URL列表中的音乐数据.
Python Scrapy 多线程爬取网易云音乐热门歌单信息（手把手教学）
qq_52181283的博客
01-02 5572
下面我将向大家介绍使用 Scrapy 爬虫获取 网易云音乐 的热门歌单信息。
Scrapy爬虫+Selenium自动获取cookie爬取网易云音乐个人喜爱歌单
我不是秃头的博客
01-30 7202
此货很干,跟上脚步!!! Cookie cookie是什么东西? 小饼干?能吃吗? 简单来说就是你第一次用账号密码访问服务器 服务器在你本机硬盘上设置一个身份识别的会员卡(cookie) 下次再去访问的时候只要亮一下你的卡片(cookie) 服务器就会知道是你来了,因为你的账号密码等信息已经刻在了会员卡上 需求分析 爬虫要访问一些私人的数据就需要用cookie进行伪装 想要得到cookie就得先登录,爬虫可以通过表单请求将账号密码提交上去 但是在火狐的F12截取到的数据就是, 网易云音乐先将你的账号密码给编
用Python爬取网易云歌单
Avaricious_Bear的博客
06-20 1393
最近，博主喜欢上了听歌，但是又苦于找不到好音乐，于是就打算到网易云的歌单中逛逛本着 “用技术改变生活” 的想法，于是便想着写一个爬虫爬取网易云的歌单，并按播放量自动进行排序这篇文章，我们就来讲讲怎样爬取网易云歌单，并将歌单按播放量进行排序。
java爬取网易云歌单_爬取网易云音乐所有歌单
weixin_42298622的博客
02-25 490
网易云音乐歌单首页歌单第二页链接歌单第三页链接可以看出只有最后的数字在变化，所以进行url的构造，然后开始爬取import csvfrom lxml import etreeimport requestsfrom multiprocessing.dummy import Poolimport timeheaders = {'Referer':'http://music.163.com/','Hos...
python爬虫实例网易云-爬虫实战(二) 用Python爬取网易云歌单
weixin_37988176的博客
10-30 1310
最近，博主喜欢上了听歌，但是又苦于找不到好音乐，于是就打算到网易云的歌单中逛逛本着 "用技术改变生活” 的想法，于是便想着写一个爬虫爬取网易云的歌单，并按播放量自动进行排序这篇文章，我们就来讲讲怎样爬取网易云歌单，并将歌单按播放量进行排序，下面先上效果图1、用 requests 爬取网易云歌单打开 网易云音乐 歌单首页，不难发现这是一个静态网页，而且格式很有规律，爬取起来应该十分简单按照...
Python爬虫实战之爬取web网易云音乐——解析
热门推荐
date3_3_1kbaicai的博客
07-14 1万+
网易云音乐爬虫，以python代码中execjs模块进行爬取，对细节进行具体的分析。
python爬取网易云音乐飙升榜音乐_Python爬虫实战，30行代码轻松爬取网易云音乐热歌榜...
weixin_39812465的博客
12-05 1487
在开始讲解思路之前，我们首先了解下网络状态码，为什么要看这个呢？以后你会回来感谢我的，嘻嘻！一般网络状态有以下几种:200(成功)服务器成功处理了请求。一般来说，这意味着服务器提供所请求的页面，如果您看到此状态，您的robots.txt文件，这意味着Googlebot的检索成功。301(永久移动)请求的网页已永久移动到新的位置，当服务器返回此响应(作为一个GET或HEAD请求的响应)，它会自动转发...
python3爬取网易云歌单
04-09
支持python3以上，有中文注释，选择自己想要爬取的歌单，输入id即可
python爬虫爬取音乐_利用python爬虫实现爬取网易云音乐热歌榜
weixin_39750598的博客
02-04 1900
利用python爬虫实现爬取网易云音乐热歌榜发布时间：2020-11-09 16:12:28来源：亿速云阅读：102作者：Leah本篇文章给大家分享的是有关利用python爬虫实现爬取网易云音乐热歌榜，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。代码实现：from urllib import requestfrom bs4 impor...
2024年Python爬取网易云音乐热歌排行榜Top200音乐(1)
2401_84562143的博客
05-01 376
相关模块 pip 安装即可网易云的歌曲还是很好听的~超NICE的网站~如果上图所示，可以在开发者工具中找到相关的数据接口，需要注意的点~ post 请求，data参数会是动态变化的~完整代码data = {‘v’: ‘2’filename = ‘音乐\’ + name + ‘.mp3’学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
Python爬虫：使用requests模块爬取网易云音乐歌曲并保存到本地
JieLun_C的博客
09-08 1767
如果响应状态码为200，表示请求成功，我们将以二进制模式打开一个文件，并将响应的内容写入该文件中。在本文中，我们将介绍如何使用Python编写一个简单的爬虫程序，使用requests模块来爬取网易云音乐的歌曲，并将其保存到本地。希望本文能帮助你了解如何使用Python爬虫和requests模块来爬取网易云音乐的歌曲并保存到本地。请确保提供的歌曲链接是有效的，并且你拥有下载该歌曲的权限。的函数，它用于获取用户输入的歌曲链接和保存的文件名。模块，这是一个常用的用于发送HTTP请求的模块。
爬取网易云歌单
nan_cheung的博客
09-28 2647
作者：NanCheung 链接：http://blog.nancheung.com/article/details/9266751 来源：NanCheung | 博客 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 偶尔在微博上看到，要是歌单里谁的歌超过30首，那肯定是真爱吧。 我看了连忙打开网易云音乐我的歌单，结果1000多首歌。。。这让我自己数得数到猴年马月呀. 于是萌生...
python爬取网易云音乐_Python爬取网易云歌单
weixin_33177758的博客
01-24 416
####基本配置：- Python版本：3.7####相关模块：from urllib import parse from lxml import etree from urllib3 import disable_warnings import requests####案例关键点：使用单线程爬取，未登录，爬取网易云歌单主要有三个关键点：- url说唱歌单 - 歌单 - 网易云音乐网易云使用翻页形...
Python爬虫-selenium爬取网易云歌单
qq_38246660的博客
12-19 1942
Python爬虫-selenium爬取网易云歌单
爬取网易云热门音乐歌单
Waspvae的博客
06-15 2324
需求分析 每当歌荒时,总想找那些播放量比较高的歌单听,毕竟这么多人选择的歌单歌曲质量总会有保证. 爬取目标 本文将提取网易云音乐 播放量在1000万 以上的歌单名称，播放量和链接地址. 准备工作 保证电脑安装了 python3.6 和已经安装好了 selenium 库.没安装的可通过 在终端输入 pip install selenium 进行安装. 爬取分析 打开歌单的 url...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值