python爬虫--酷狗音乐榜单TOP500

前期准备：

• 正则表达式：

\d:代表一个数字
{}:代表字符个数
*:代表任意字符
[]:[]内字符只能取其一
+:表示前字符至少出现过一次
-:一个范围
?:表示前一个字符可出现0次或1次
[a-z]{3}[1-9]{6}:前三个为字符：a-z，四到十位为数字1-9    密码
\d{3}-d{8}:3个数字-8个数字    电话号码

• 网页构成：

我们需要top500首歌，找到网页，查看地址，每页22首，需要23个页面，我们就确定网页号，由正则表达式知道{}表示字符个数确定{}范围为1-24

range函数:

range（a,b）   i>=a&&i<b   

range(1,5)得到{1，2，3，4}

https://www.kugou.com/yy/rank/home/{}-8888.html

User-Agent获取：

在Chorme网页，输入

Chrome://version

找到用户代理，后面代码就是

headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}

实际操作：

需要下载库：

将下面xxxx换成下面几个库，cmd环境下，运行安装即可。

urllib lxml requests bs4（可能会缺少模块就使用下面这个命令，快速下载，还有很多镜像源，和直接下载的方法，可以自己百度找找）

pip install xxxx -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

完整代码： 

import requests
from bs4 import BeautifulSoup
import time

headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}
#User-Agent需要自己打开Chrome浏览器找到复制
#User-Agent是Chrome浏览器开发者工具，便于伪装成浏览器
def get_info(url):  #定义函数爬取信息
	wb_data=requests.get(url,headers=headers)
	soup=BeautifulSoup(wb_data.text,'lxml')
	ranks=soup.select('span.pc_temp_num')
	titles=soup.select('div.pc_temp_songlist>ul>li>a')
	times=soup.select('span.pc_temp_tips_r>span')
	for rank,title,time,in zip(ranks,titles,times):
		data={
			'rank':rank.get_text().strip(),
			'singer':title.get_text().split('-')[0],
			'song':title.get_text().split('-')[1],
			'time':time.get_text().strip()
		}
		print(data)

if __name__=='__main__':
	urls=['http://www.kugou.com/yy/rank/home/{}-8888.html'.format(str(i)) for i in range(1,24)]
	for url in urls:
		get_info(url)
		time.sleep(1)

运行结果：