虾米音乐爬虫实战分析 批量下载虾米音乐到本地

刚开始我是奔着抓API的，发现翻页的参数不好找，后来看到搜索出来的歌曲都存在当前url中，翻页只需更换浏览器中的url参数即可：https://www.xiami.com/list?page=1&query={“searchKey”:”张国荣”}&scene=search&type=song，那么为啥要费那么多事找接口呢？

但是后来发现歌曲的下载地址存在于API接口中，呢我们不得不寻找_s和_q的参数，也就是说我们上面的代码只能抓取张国荣的歌曲和信息，不能下载到本地，显然没有什么卵用，我们在观察一下，同时参考一篇文章：https://www.cnblogs.com/zhuchunyu/p/11496882.html，有兴趣的可以去看看。重点就是找到md5加密的内容是什么，最中在： https://g.alicdn.com/xiami-frontend/web-xiami-main-node/3.8.0/main/index.js js文件中发现了加密的字符串：

虾米音乐爬虫实战分析 批量下载虾米音乐到本地

很明显就可以看到_s的值是通过： cookie中的xm_sg_tk通过_切割取第一个值 + xmMain + 接口地址 + _ + _q ，知道了参数的来源那么我们就可以构造这样的参数放到url中去请求数据。鳄鱼君推荐使用MD5转换工具，便于测试参数是否正确。代码参考：

import requests,json,os
from hashlib import md5

class XiMimusic():
    def __init__(self):
        self.URL='http://www.xiami.com'
        #请求头和cookies
        self.headers={
            'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
            'Accept-Encoding':'gzip, deflate, br',
            'Accept-Language':'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
            'Connection':'keep-alive',
            'Host':'www.xiami.com',
            'TE':'Trailers',
            'Upgrade-Insecure-Requests':'1',
            'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0'
            }
        #维持会话，携带cookies
        self.session=requests.Session()
        self.session.get(url=self.URL,headers=self.headers)
        # 每日音乐API接口推荐
        self.APIDailySongs = "/api/recommend/getDailySongs"
        # 排行榜音乐API接口
        self.APIBillboardDetail = "/api/billboard/getBillboardDetail"
        # 歌单API接口
        self.APICollectionL = "/api/collect/getCollectDetail"
        # # 歌曲详情信息 包含歌曲的下载地址
        self.APISongDetails = "/api/song/getPlayInfo"

    #获取对应的接口地址
    def get_api_url(self, api):
        return self.URL + api
    # 获取xm_sg_tk的值，用于对数据加密的参数
    def  get_xm_sg_tk(self):
        xm_sg_tk = self.session.cookies.get('xm_sg_tk')
        return xm_sg_tk.split("_")[0]
    # 获取加密字符串_s
    def get_params_s(self,api,_q: str = ""):
        xm_sg_tk=self.get_xm_sg_tk()
        xxoo = xm_sg_tk + '_xmMain_' + api + '_' + _q
        md_5 = md5(xxoo.encode()).hexdigest()
        return md_5
    def get_daily_songs(self,*args):
        """
        获取每日推荐的30首歌曲  只需_s参数
        :param args:
        :return:
        """
        url=self.get_api_url(self.APIDailySongs)
        params={
            "_s":self.get_params_s(self.APIDailySongs)
        }
        result = self.session.get(url=url, params=params,)
        data = json.loads(result.content)
        try:
            if data['code']=="SUCCESS":
                for i in data['result']['data']['songs']:
                    item={}
                    item['songname']=i['songName']
                    item['songid']=i['songId']
                    yield item
            else:
                return None
        except Exception as e:
            return None
    # 获取虾米音乐的音乐排行榜
    def get_billboard_song(self, billboard_id):
        """根据排行榜的id来下载不同的排行榜歌曲
         :param billboard_id:
        :return:
        """
        url = self.get_api_url(self.APIBillboardDetail)
        _q = '{\"billboardId\":\"%s\"}' % billboard_id
        params = {
            "_q": _q,
            "_s": self.get_params_s(self.APIBillboardDetail, _q)
        }
        result = self.session.get(url=url, params=params)
        data = json.loads(result.content)
        try:
            if data['code'] == "SUCCESS":
                for i in data['result']['data']['billboard']['songs']:
                    item = {}
                    item['songname'] = i['songName']
                    item['songid'] = i['songId']
                    yield item
            else:
                return None
        except Exception as e:
            return None
    def get_song_details(self,func):
        """
        获取音乐的下载地址
        :param func: 参数为一个函数
        :return: 返回音乐的下载地址和音乐名字
        """
        try:
            for i in func:
                url=self.get_api_url(self.APISongDetails)
                _q = "{\"songIds\":[%s]}" % i['songid']
                params = {
                    "_q": _q,
                    "_s": self.get_params_s(self.APISongDetails, _q)
                }
                result = self.session.get(url=url, params=params,)
                data = json.loads(result.content)
                yield data['result']['data']['songPlayInfos'][0]['playInfos'][1]['listenFile'],i['songname']
        except Exception as e:
            return None
    def download_music(self,songurl,songname:str =""):
        """
        下载音乐到本地
        :param songurl:
        :param songname:
        :return:
        """
        try :
            file_path='{0}/{1}.{2}'.format('G:/XM音乐',songname,'m4a')
            if not os.path.exists(file_path):
                with open(file_path,'wb') as f:
                    f.write(requests.get(songurl).content)
        except Exception as e:
            return None
    def user_choice(self):
        music_list = ['美国Billboard单曲榜id:204', '韩国MNET音乐排行榜id:206', '英国UK单曲榜id:203', 'Beatport电音榜id:329', '新歌榜id:102','抖音热歌榜id:332', 'K歌榜id:306', '热点讨论榜id:331', '歌单收录榜id:305', '趴间热歌榜id:327', '影视原声榜id:324']
        for k in music_list:
            print(k)
        data = input('请输入需要下载歌曲榜单的id(请不要乱输入否则程序会崩溃....)：')
        return data
    def start(self):
        id=self.user_choice()
        try:
            for songurl, songname in self.get_song_details(self.get_billboard_song(id)):
                if songurl and songname:
                    print("正在下载歌曲：{0}".format(songname))
                    self.download_music(songurl,songname)
        except Exception as e:
            return None
        # #下载每日30首歌曲到本地
        # try:
        #
        #     for songurl,songname in self.get_song_details(self.get_daily_songs()):
        #         if songurl and songname:
        #             print("正在下载歌曲：{0}".format(songname))
        #             self.download_music(songurl,songname)
        # except Exception as e:
        #     return  None
    if __name__=='__main__':
    xm=XiMimusic()
    xm.start()

代码测试于2020-4-4日，在这里深切哀悼在抗击新冠肺炎疫情牺牲的烈士和逝世同胞们！！！！

虾米音乐使用了js对请求的参数进行了加密，请求需携带headers且cookies存在过期时间，如果处理不好动不动就会出现：www.xiami.com:443/api/search/searchSongs/tmd/punish?x5secdata。其中tmd格外显眼，这是一个滑动验证的url，你在尝试的时候可能会经常出现在你的控制台中。

代码中有很多内容没有完善，但是下载几百首歌曲是没有问题的，我们已经知道了参数如何构建，那么还有什么难度呢？多花费点时间罢了。

相比于虾米音乐，QQ音乐的参数非常好找，在响应的html源码中是可以找到的，我们也可以轻松构建url获取数据，详情参考：QQ音乐的抓取和下载