2、任务二:爬取商品评论信息
如果不需要爬取用户的地域信息,那么用这个网址爬就好:
http://club.jd.com/review/10321370917-1-1-0.html
其中10321370917是商品的ID,评论的第一页就是 -1-1-0.html, 第二页就是-1-2-0.html。
之前商品不是存了评论总数吗,一页30个评论,除一下就可以知道多少页了,或者直接抓取下一页的链接也行。
但是这里的评论是没有用户地区信息的。下面放两个图对比一下
没地区信息的:
有地区信息的:
因此如果不需要地区信息,就按上面的方法抓取就好,很简单。但是如果要地区信息的话,就会复杂一些了。因为你会发现商品详情页中的评论也是动态加载的,不管你点第一页,网址都不变

本文介绍如何使用Scrapy爬取京东商城商品的评论信息。通过分析URL规律和动态加载的评论数据,发现商品ID和评论页码与URL的关系,并提及评论版本号在抓取过程中的作用。提供了部分代码示例,并分享了完整代码的GitHub链接。
最低0.47元/天 解锁文章
883

被折叠的 条评论
为什么被折叠?



