爬虫初上手之爬取QQ音乐!
作为一名爬虫界的萌新,我终于通过了新手教程——requests库的学习,兴致勃勃地撸起袖子准备大爬一场大干一场。
我的第一个爬取目标是QQ音乐。在我的设想中,一个网站的根目录下有很多子目录,里面装着子网页和各种资源,其中一个文件夹就是音乐库,所有的音乐都在里面被分门别类地存放好,我只要找到这个文件夹就好了。比如这样:r = requests.get('https://y.qq.com/music/你的名字.mp3')
“爬虫真是又简单又方便!一行代码连QQ音乐都能爬下来!”我这么想着,打开了QQ音乐的主页,然后就看到了这个:
emmm,好吧,看样子事情并没有我想的那么简单。
WTF?!网页版下不了歌??那我怎么爬?我人都傻了。。
没办法,看样子我还是太菜了,所以我只好在网上找资料,看看大神都是怎么爬的。
。
。。
。。。
。。。。
。。。。。
。。。。。。
终于,被我找到了一个大神的博客:https://blog.csdn.net/weixin_44119390/article/details/90812246
这篇博客不长,在大神一通眼花缭乱看不懂的操作之后,就成功找到了资源的url。
没办法,一步一步地查资料,一点一点地理解吧,慢慢来。。。
。。。。。。
。。。。。
。。。。
。。。
。。
。
我终于弄懂大神的意思了哈哈哈哈哈~~(笑容中透着心酸)~~
以下是参考博主后我自己的代码:
import requests
import json
import os
class QQmusic:
def __init__(self):
self.songlist = []
def get(self,url): # 访问服务器
try:
res = requests.get(url,headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'})
res