爬取京东商品用户评论

最新推荐文章于 2024-09-26 09:51:42 发布

uziwz_

最新推荐文章于 2024-09-26 09:51:42 发布

阅读量521

点赞数

分类专栏： python 爬虫项目文章标签：爬虫

本文链接：https://blog.csdn.net/uziwz_/article/details/100529896

版权

本文介绍了如何编写一个小爬虫来爬取京东商品的用户评论。通过分析网页，找到JS处理的请求接口，使用requests库发起请求获取JSON数据，再进行解析和处理，最后将评论数据保存到文件中。

摘要由CSDN通过智能技术生成

爬取京东商品用户评论

前言

今天逛京东时眼盯着心心恋恋的macbookpro看了好久，烦躁于翻评论的枯燥时，便想随便爬一点评论一起看，于是编写了一个小爬虫，具体思路如下。

分析

首先打开京东并翻到了我想看的macbookpro的用户评论页面
直接打开网页源代码发现什么也没有，然后一番分析后，发现页面是由js处理过的，F12检查网页，定位到js一栏，果然发现请求接口

实现

请求
既然发现了请求接口，接下来便使用requests发起请求

import requests
headers = {
   
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
    'Referer': 'https://item.jd.com/100006729770.html'
}
url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv180&productId=100006729770&score=0&sortType=5&page=&pageSize=10&isShadowSku=0&rid=0&fold=1' #接口url
r = requests.get(url,headers=headers)