京东商品评论爬取

上个月爬取京东商品评论的时候，突然发现爬不下来了，爬取后获得的HTML文本长度为0，状态码200；

 1）随便打开了一个京东的商品页面，按下 F12后，Ctrl + R；

 2）点击商品评论；

3）搜索comment，选择JS，点击productPageComments...，点开里面显示的就是商品评论的URL；

4）复制此URL，打开后发现是空白页

 

 

之前此空白页显示的就是商品的评论信息，现在打开是空白页，用爬虫爬取此页面后，返回的状态码200，但是返回文本长度为0；

后来上网查看大牛的代码，发现唯一不同的是，大牛在hearders中加入了控制信息Referer；

加上后，再次运行代码，成功