Python爬虫 爬取酷狗TOP500的数据

根据书籍《从零开始学Python网络爬虫》P41，综合案例2—爬取酷狗TOP500的数据修改而来.
使用模块requests和模块BeautifukSoup进行爬取.
不得不说，酷狗拿来跑爬虫真是好，不ban不限制IP~

要爬取的页面信息

酷狗TOP500

需要爬取的信息很少：1.排名 2.标题(歌名-歌手) 3.时长
每页22条信息,需要爬取500/22≈23页
虽然没有手动翻页下一步浏览,但是只要修改网页:
http://www.kugou.com/yy/rank/home/1-8888.html?from=rank 为
http://www.kugou.com/yy/rank/home/2-8888.html?from=rank
就得到第二页的信息.
使用浏览器中审查元素功能,得到: 信息对应的标签属性,使用soup.select()获取标签,再使用tag.get_text()获取文本即可

代码实现

知道了要爬的标签,写起来就很轻松了,确定流程如下:
1.设置Headers的User-Agent伪装浏览器访问
2.获取酷狗主站的编码格式<meta charset=xxx>,并设置到request中res.encoding,对应的res.text就会重新编码.这样soup在使用lxml解析器时就不会出现乱码了.
3.打开文件kugou_500.txt,设置为写入方式,f.encoding=res.encoding,统一编码格式
4.对23个网页中,每个网页执行一次get_info()获取信息,然后按格式写入到文件kugou_500.txt中.
5.等待爬虫结束,然后查看爬取结果.

from bs4 import BeautifulSoup
import requests
import time
import re

headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
}


def