笔记——用Requests库和BeautifulSoup库爬取酷狗音乐数据

酷狗音乐top500榜单链接：http://www.kugou.com/yy/rank/home/1-8888.html

观察每页的url，将第一页url中home/后的1改成2，就恰好是第二页的url。

首先导入相应的库，同时设定好浏览器的header：

import requests
from bs4 import BeautifulSoup
import time

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:58.0) Gecko/20100101 Firefox/58.0'
}

接下来写获取网页信息的函数，这里需要事先加载lxml包，否则会报错。

我们要爬取的信息有4项：排名、歌手、歌曲名、时长，分别右键每个部分，选择【查看元素】，可以找到它们的源码分别如下：

使用soup.select()函数时，括号里是‘标签名.类别名’，比如对于【排名】（ranks）这一项，括号里就应该是'span.pc_temp_num'，而如果只写最小的标签的类别名无法爬取时，可以由大标签开始一层一层写到小标签，中间用大于号链接（注意，大于号的前后都要打上空格，否则错误），比如下面的【名称】（titles）这一项，soup.select()函数的括号里就是'div.pc_temp_songlist > ul > li > a'，从母标签一层一层写到我们所需要的a标签。

【时长】（times）的写法也是同样的道理，书上是从大的那个span的标签开始写的，我试了一下直接用'span.pc_temp_time'也是可以的。

做好了lxml方法下的网页解析，接下来就用一个循环，来将每一条数据设置成字典的形式：

    for rank,title,time in zip(ranks,titles,times):
        data={
            'rank':rank.get_text().strip(),
            'singer':title.get_text().split('-')[0],
            'song':title.get_text().split('-')[1],
            'time':time.get_text().strip()
        }
        print(data)

最后一波是构造多页的url，同时对每一页调用之前写的网页解析的函数，对于构造多页url这件事，一句话就能搞定：

urls=['http://www.kugou.com/yy/rank/home/{}-8888.html'.format(str(i)) for i in range(1,24)]

综合上面的分析，完整的代码如下：

import requests
from bs4 import BeautifulSoup
import time

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:58.0) Gecko/20100101 Firefox/58.0'
}

def get_info(url):
    urldata=requests.get(url,headers=headers)
    soup=BeautifulSoup(urldata.text,'lxml')
    ranks=soup.select('span.pc_temp_num')
    titles=soup.select('div.pc_temp_songlist > ul > li > a')
    times=soup.select('span.pc_temp_time')
    for rank,title,time in zip(ranks,titles,times):
        data={
            'rank':rank.get_text().strip(),
            'singer':title.get_text().split('-')[0],
            'song':title.get_text().split('-')[1],
            'time':time.get_text().strip()
        }
        print(data)

if __name__ =='__main__': #程序主入口
    urls=['http://www.kugou.com/yy/rank/home/{}-8888.html'.format(str(i)) for i in range(1,24)]
    for url in urls:
        get_info(url)
        time.sleep(1)

好啦~大功告成，得到了五百条数据，就像这样：