用Python爬取网易云歌单

最近，博主喜欢上了听歌，但是又苦于找不到好音乐，于是就打算到网易云的歌单中逛逛

本着 “用技术改变生活” 的想法，于是便想着写一个爬虫爬取网易云的歌单，并按播放量自动进行排序

这篇文章，我们就来讲讲怎样爬取网易云歌单，并将歌单按播放量进行排序

1、用 requests 爬取网易云歌单

打开 网易云音乐 歌单首页，不难发现这是一个静态网页，而且格式很有规律，爬取起来应该十分简单

按照以前的套路，很快就可以写完代码，无非就是分为下面几个部分：

（1）获取网页源代码

这里我们使用 requests 发送和接收请求，核心代码如下：

import requests
def get_page(url):
    # 构造请求头部
    headers = {
        'USER-AGENT':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }
    # 发送请求，获得响应
    response = requests.get(url=url,headers=headers)
    # 获取响应内容
    html = response.text
    return html

（2）解析网页源代码

解析数据部分我们使用 xpath（对于 xpath 的语法不太熟悉的朋友，可以看看博主之前的文章）

核心代码如下：

from lxml import etree
# 解析网页源代码，获取数据
def parse4data(self,html):
    html_elem = etree.HTML(html)
    # 播放量
    play_num = html_elem.xpath('//ul[@id="m-pl-container"]/li/div/div/span[@class="nb"]/text()')
    # 歌单名称
    song_title = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[1]/a/@title')
    # 歌单链接
    song_href = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[1]/a/@href')
    song_link = ['https://music.163.com/#'+item for item in song_href]
    # 用户名称
    user_title = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[2]/a/@title')
    # 用户链接
    user_href = html_elem.xpath('//ul[@id="m-pl-container"]/li/p[2]/a/@href')
    user_link