小白玩转爬虫!(Python)

小白在学习Python基础教程一个月后,决定开始干爬虫。Spider!!!
视频:小蚊子爬虫实战
工具:Pycharm。

1、概述
商品评论数据属于不开放数据接口。不开放数据接口是指公开的网站中,可以获取的数据,但是不公开数据接口。

!公开:
允许公众访问:例如电商商品价格、介绍、评论等;
限制全站抓取:例如限制session、cookie、header等。

2、分析接口案例
目的:抓取《谁说菜鸟不会数据分析》书本的评论数,网址为https://item.jd.com/11944656.html#comment

这里写图片描述

下拉评论数:

这里写图片描述

商品评论有1万+了!看来小蚊子系列还是很吃香啊:)
接下里,按住CTRL+SHIFT+J(注意是谷歌流浪器),得到:

这里写图片描述

因为是异步加载,点击【network】后先【Clear】,然后点击【All】,并点击网页端【第二页】(这一步主要是异步申请数据)。
点击【All】下方的【Type】,选择Script,然后我们看到:

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值