python爬取京东评论分析_Python爬取京东商品评论+制作关键字云+情感分析图

本文介绍如何使用Python爬取京东商品评论,通过解析JSON数据获取评论内容,再利用jieba分词生成关键字云,并进行情感分析。涉及到的库包括requests、json、pandas、matplotlib、wordcloud和snownlp。
摘要由CSDN通过智能技术生成

首先我们要了解一下,我们用requests包爬取的都只是写在HTML页面上的数据,但是呢,现在很多网站的数据都是通过js代码生成的,除非你找到它,不然是爬取不到的。

首先我随意打开一个京东的商品的详情页面:

fbad609619f8

然后打开谷歌的调试工具,点开network,京东的商品评论信息是存放json包中的,我们点击JS:

fbad609619f8

我们发现了productPageComment…,这也太像了吧,点开:

fbad609619f8

找到他的Request URL,复制下来,打开这个链接:

fbad609619f8

的确是我们想要的评论信息,下面我们来爬去它,爬去之前,我们要注意,这只是一页信息,那其他页呢,仔细看:

fbad609619f8

中间有一个page=0,这就是第一页的标志,那page=1就是第二页,page=2就是第三页了吧?试验一下:

fbad609619f8

打开看,果然是这样。那我们就可以来爬取了!

这里用到三个工具包:requests、json、pandas

可以通过 pip install -U指令来安装,不过国内某些

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值