按15分钟取数据_Python爬取猫眼电影《飞驰人生》4万多条评论并对其进行数据分析...

前言

文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者： Yura不说数据说 ，PYuraL

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef

数据爬取

其实我一开始是想用豆瓣网的评论的，但是我翻了翻吧，发现“最热评论”只能看到500条，“最新评论”只能显示100条，拿600条数据能分析出个啥？

百度了一下，看大家都是用猫眼评论，于是就……爬猫眼！网页版的猫眼只能显示有限的评论，切换到APP版本才能看到所有评论。

找network里面的网页也不难，随便拿一条评论搜索一下就可以找到

关键是找到不同网页之间的变化规律

有些网址，表面看上去，区别就是在于offset(偏移量)，但是实际上更改这个数值到1005的时候就爬不到东西了(可能是由于网页内部的设置吧)，就是说这么下去我们只能得到1000条评论。

那是哪1000条评论呢？我们看到网址中有个关键词“ts=1549640420581”，其实就是当前时间的意思(时间戳)，转化一下就是：