2、任务二:爬取商品评论信息
如果不需要爬取用户的地域信息,那么用这个网址爬就好:
http://club.jd.com/review/10321370917-1-1-0.html
其中10321370917是商品的ID,评论的第一页就是 -1-1-0.html, 第二页就是-1-2-0.html。
之前商品不是存了评论总数吗,一页30个评论,除一下就可以知道多少页了,或者直接抓取下一页的链接也行。
但是这里的评论是没有用户地区信息的。下面放两个图对比一下
没地区信息的:
有地区信息的:
因此如果不需要地区信息,就按上面的方法抓取就好,很简单。但是如果要地区信息的话,就会复杂一些了。因为你会发现商品详情页中的评论也是动态加载的,不管你点第一页,网址都不变