四十五、爬取QQ音乐Lemon 日语歌的评论

(1-2)爬虫系列
Runsen学Python爬虫的记录
刘润森!

@Author:Runsen

我们继续学习Python爬虫。本次爬取的对象是QQ音乐Lemon 日语歌的评论

首先查看一下,我们要爬取的网页,是否反爬(各种侵害人家服务器的事情,我们不能干)

QQ音乐网址:https://y.qq.com

要查看该网页的反爬要求,可以直接在网页后加/robots.txt

QQ音乐反爬要求就是:https://y.qq.com/robots.txt

看了一下官网不给爬的内容,没有说不可以爬评论,那我们就爬了~

根据我们之前的操作,我们会先右击看一下网页源代码。

如果我们要的内容,就在源代码里面,那万事大吉,直接按照我们之前爬豆瓣的那一套来

但是我们爬QQ音乐的时候,很悲伤的发现,网页源代码里面,没有数据了!

其实这和百度图片一样,就是一个ajax请求加载的。现在就是要找出对应的json。

XHR 全称 XMLHttpRequest,它是浏览器内置的对象,使得 JavaScript 可以发送 HTTP 请求。

我们先右击打开“审查元素”,勾选Network—>勾选XHR—>查找我们要的内容

刘润森! CSDN认证博客专家 数据分析 Python 机器学习
17年就读于东莞XX学院化学工程与工艺专业,GitChat作者。Runsen的微信公众号是"Python之王",因为Python入了IT的坑,从此不能自拔。公众号内容涉及Python,Java计算机、杂谈。干货与情怀同在。关注后回复「小白」即可免费获取原创的Python学习资料;喜欢的微信搜索:「Python之王」。个人微信号:RunsenLiu
©️2020 CSDN 皮肤主题: 猿与汪的秘密 设计师:上身试试 返回首页
实付 19.90元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值