抓取京东评论数据

京东,淘宝等的评论数据貌似无法直接在源代码中查看,那么如何找到对应的评论数据的源代码文件呢?

这里要用到chrome浏览器的审查元素功能,以京东为例,点开一个评论页面,
这里写图片描述

然后在chrome中选择network的script,此时如果script中有内容先清空。

然后在京东的评论页面中点击下一页,这时chrome会捕捉到执行的脚本内容,会显示在script中,这里脚本的内容应该包含对调用下一页评论页面的请求,所以我们可以在这里得到下一页评论的文件的信息,如图:

这里写图片描述

然后具体哪个对应的评论的源代码文件,可以点开看看。我发现是第二个对应的评论数据,地址为http://s.club.jd.com/productpage/p-1648571-s-0-t-0-p-1.html?callback=fetchJSON_comment
多点几页可以发现京东评论的页面规律,那个1648571估计是商品的编号,p-1是第2页的评论,p-2是第3页评论,以此类推。

至此就可以得到所有评论的源代码文件了。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值