python爬取京东评论分析_淫听羽息-无聊写了个python爬虫-爬取京东评论

周末无聊，于是研究了下python爬虫。

写了一个京东爬虫，设置了每天12:00/18:00/19:00自动读取一次京东评论，以此来查看锤子科技坚果手机pro3的销量变化。

主要的难点

1)京东屏蔽了直接访问评论页面，如果直接访问评论页面，会返回一个空值。

所以我尝试在商品页调用评论js后，得到一个请求headers，然后在python里使用了这个headers去调取评论页。

果然京东返回了数据。

2)以前京东返回的数据是直接的一个json文件，但是不知道为啥返回的数据前后都添加了字符，

导致直接读取到json.loads会报错，我只好使用字符串工具把response.text[25:-2]取代哦了前面25个字符和最后2个字符，然后json就可以正常读取了。

详细代码：

偶尔练习一下编程挺有意思的。

对于爬虫技术，requests和xpath的基本用法已经掌握了，但是对于re和yield不太理解。

python学习目标是自己能够爬取一些数据，并用python工具与EXCEL配合做些数据分析。