python爬取喜马拉雅FM音频

前前言

喜马拉雅已经更换标签，我重新更新了下代码，思路还是如此，需要的可以扫一下文末公众号二维码（本人会在上面发表爬虫以及java的文章还有送书等资源福利哦），也可以直接搜索公众号“ 猿狮的单身日常”，好了广告结束…

前言

之前写过爬取图片的一篇文章，这回来看看如何爬取音频。图片，音频，视频这类都可以通过二进制方式保存到本地下载下来。
爬取图片文章的链接：
python爬取图片并以二进制方式保存到本地

目标

本次我们爬取的目标是–喜马拉雅FM

喜马拉雅FM有数不计的音频，这些音频都有自己的分类，所以进一步给自己抛出一个需求，爬取喜马拉雅所有分类的音频

接下来我们来分析这些分类，找到所有分类 https://www.ximalaya.com/category/

我们可以看到这里包括了大量的分类，那么我们找一个分类来看看其内部是怎样的

这里我们可以看到文学类下面的诸多FM节目，那么点开节目，有的需要充值，有的免费，还有很多页这样的节目

继续跟进，可以看到，我们需要爬取的音频列表了！
好了，所以现在目标已经清晰起来了：找到所有分类 -> 对每一个分类，获取其中所有页的FM节目->对每一个FM节目，爬取其下列表里的所有免费的音频

---

开始动刀

第一步

代码如下：

category_Url = 'https://www.ximalaya.com/category/'
base_url = 'https://www.ximalaya.com'
base_api = 'https://www.ximalaya.com/revision/play/tracks?trackIds='
header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'
}
client = pymongo.MongoClient(host='localhost', port=27017)
db = client['ximalaya']

def getUrl():
    r = requests.get(category_Url, headers=header)
    html = r.text
    result = re.findall(r'<a class="e-2880429693 item separator".*?href="(.*?)">(.*?)</a>', html, re.S)
    url_list = []
    for i in result:
        # 以一个分类为例  - - 有声书中的文学类，若没有break 则可获取全部分类
        second_url = base_url + i[0]
        url_list.append(second_url)
        # 获取该分类中全部的页数
        getMorePage(second_url)
        print second_url
        break

分析每个分类的标签，获取网页源码中的所有分类，这里的category_Url是上面提到的所有分类得界面的URL

还定义一些要用到的基本的，比如请求头、连接MongoDB等，在这里添加了break，是因为音频数过多，所以以有声书为例

---

第二步

def getMorePage(url):
    r = requests.get(url, headers=header)
    m_list_html = r.text
    pageNum = re.findall(r'(\d+)</span></a></li><li class="e-3793817119 page-next page-item">', m_list_html,re.S)
    pageNum = int(pageNum[0])
    # 循环获取每一页，这里暂时获取第一页
    for i in range(1, pageNum + 1):
        if i == 1:
            page_url = url
            # 获取页中的30个FM
            getMusicList(page_url, i)
        else:
            page_url = url + 'p{}/'.format(i)
            getMusicList(page_url, i)
        #爬取一页
        break

进入一个分类后，可以看到很多页的FM节目，所以应该想办法循环获取页面的内容，这里我们发现页面数在网页源码中存在，通过正则我们将其取出，然后循环

这里我们注意一下其页面的url ：
https://www.ximalaya.com/youshengshu/wenxue/p2/
后面的p2对应页数，而第一页没有p，所以需要判断，这里也同样以第一页为例

---

第三步

def getMusicList(url, page):
    r = requests.get(url, headers=header)
    m_list_html = r.text
    result = re.findall(
        r'<a class="e-1889510108.*?href="(.*?)"><img.*?src="(.*?)".*?alt="(.*?)".*?/>.*?"e-1889510108 icon-earphone xuicon xuicon-erji"></i>(.*?)</span>.*?"e-2896848410 album-author".*?title="(.*?)">',
        m_list_html, re.S)
    info = []
    # 获取该page中每一个FM的数据信息，可以存入MongoDB
    for i in result:
        FM_info = {}
        #每个节目的url
        FM_url = base_url + i[0] 
        FM_info['url'] = FM_url
        FM_info['picture'] = i[1]
        FM_info['name'] = i[2]
        FM_info['playback'] = i[3]
        FM_info['author'] = i[4]
        info.append(FM_info)
        # 获取该FM中的音频信息
        # os.mkdir('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}'.format(FM_info['name']))
        get_FM_music(FM_url)
        # 先获取一个FM

    # for j in info:
    #     print j
    test = db['page' + str(page)]
    test.insert(info)

以每页的url为参数传入**getMusicList()**获取每一页中的30个FM节目信息，可以将每个节目的信息存入到MongoDB中；然后是获取每个节目中的音频

---

第四步

def get_FM_music(fm_url):
    print fm_url
    r = requests.get(fm_url, headers=header)
    FM_music_html = r.text
    track_list = re.findall(r'<div class="e-2304105070 text"><a.*?title="(.*?)".*?href="(.*?)">.*?</a>', FM_music_html,re.S)
    detail_info = []
    # 爬取一个FM下的每个音频
    j = 1
    for i in track_list:
        detail = {}
        # 获取爬取音频所需的trackIds
        id = str(i[1]).split('/')[3]
        detail['title'] = i[0]
        detail['detail_url'] = base_url + i[1]
        detail_info.append(detail)
        # api中的数据信息
        get_detailFM_api(id)
        print u'已获取第' + str(j) + u'个音频'
        j += 1
    print detail['title']+u',该音频爬取完毕'
    time.sleep(2+random.randint(1,10))

获取每个音频对应的url，这里需要注意，自我们点击一个音频的时候

进入到以下界面

我们既然要获取音频，那么不妨打开开发者工具，再点击播放音频试试
结果我们发现，点击播放按钮，发送了一个请求：

https://www.ximalaya.com/revision/play/tracks?trackIds=93433726
注意trackIds就是当前音频url的最后一部分：
https://www.ximalaya.com/youshengshu/11377428/93433726

同时我们可以看到我们所需的音频源就在这里：

所以我们可以通过获取页面url的最后一部分，构建一个请求，发送后就可以获取json数据，从而获得音频源的url

---

第五步

def get_detailFM_api(id):
    api = base_api + id
    print api
    r = requests.get(api, headers=header)
    result = r.json()
    src = result['data']['tracksForAudioPlay'][0]
    if src['src']:
        print u'试听'
        r = requests.get(src['src'], headers=header)
        try:
            f = open('D:\\Python\\PycharmProject\\Enhance\\xmly_fm\\{}.m4a'.format(src['trackName']),'wb')
        except:
            print u'已存在'
            pass
        f.write(r.content)
        f.close
        print u'保存完毕...'
    else:
        print u'需要收费'
        pass

通过访问音频源，以r.content将音频保存到本地

这里保存的时候还需改进，希望做到对每个节目新建一个文件夹，将该节目的音频存入对应的文件夹中

最后，程序从这里开始运行

if __name__ == '__main__':
    getUrl()

有疑问或更好的方法的话，欢迎交流！

下一篇应该是爬取网易云的，或者是爬取视频；最近也是忙着期末的考试，我也算是碰见了最佩服的老师…（考试时看我们做的试卷，唉，急的直接说答案了！！…）

完整代码可以在我的GitHub上下载~
https://github.com/joelYing/XimalayaFM

公众号二维码