Python3 scrapy下载网易云音乐所有(大部分)歌曲

很早之前就说要写这个的,但是中间我去写其他爬虫了,所以一直拖着没更( ˃᷄˶˶̫˶˂᷅ )
BUT,说好的要写这个爬虫那就一定要写!!

先说怎样找到我们要爬取的数据
我的思路是这样的:

主页→歌单页面→分类的各个歌单界面→分类歌单里的每一个歌单→歌单中的每一首歌(歌名,歌手,歌曲id)→歌曲下载链接

按照上述步骤
我们先到网易云音乐的主页:http://music.163.com/#
这里一定要注意,在编写爬虫代码时,后面的‘#’我们不能要!
所以代码里你要写入的链接是:http://music.163.com
这里写图片描述
很轻松既可以找到‘歌单’这一分类的地址

接下来是‘歌单’分类的界面:
这里写图片描述

这里写图片描述
这里也可以很轻松的找到所有类别的歌单地址与下一页的地址

接着我们进入某一歌单的页面:
这里写图片描述

到这里你会发现,根据Elements编写的xpath路径根本找不到每一首歌的链接,因为Elments里的代码其实并不是真实源码,而是经过浏览器渲染后的代码,我们要找的源码在这里:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值