【小盐巴学习笔记】—用Python批量爬取京东商品评论

最新推荐文章于 2024-04-07 16:30:00 发布

热爱学习的小盐巴

最新推荐文章于 2024-04-07 16:30:00 发布

阅读量567

点赞数 1

分类专栏：爬虫实战练习文章标签： python 爬虫

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_45459248/article/details/110519904

版权

本文介绍了如何分析和爬取京东商品评论，通过观察网址确定为动态页面，利用F12分析数据存在于JS中。通过查看网络请求，发现了页码与评论数据的关系，成功获取了第一页评论。提供了完整代码并强调动态网址中找不到的数据可从JS中寻找。

摘要由CSDN通过智能技术生成

一、爬虫分析
- 1.分析网址
- 2.分析数据
二、完整代码
总结

一、爬虫分析

首先看看今天要爬取的京东商品评论网址

https://item.jd.com/100006262957.html#comment

1.分析网址

首先判断网址是动态网址还是静态网址，静态网址是随着翻页，上方网址会随之变化。如图，当前已经翻页，网页依旧不变，所以今天爬的是动态网址，即局部刷新。
在这里插入图片描述

2.分析数据

（1）打开F12，根据123步骤依次点击network->JS->翻页

注：平时都是看XHR，但这次点击翻页时XHR没内容，所以内容应该是藏在JS中
在这里插入图片描述

观察4处数据变化，点开能看到商品评论，每页

最低0.47元/天解锁文章

热爱学习的小盐巴

关注

1
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
【小盐巴学习笔记】—用Python批量爬取京东商品评论

【小盐巴学习笔记】—用Python批量爬取京东商品评论一、爬虫分析1.分析网址2.分析数据二、完整代码总结一、爬虫分析首先看看今天要爬取的京东商品评论网址https://item.jd.com/100006262957.html#comment1.分析网址首先判断网址是动态网址还是静态网址，静态网址是随着翻页，上方网址会随之变化。如图，当前已经翻页，网页依旧不变，所以今天爬的是动态网址，即局部刷新。2.分析数据打开F12，根据123步骤依次点击network->JS->翻
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。