爬取猫眼十万条评论数据

爬取猫眼十万条评论数据

写在之前

我之前看了一些关于抓包的文章，还以为猫眼的接口都要通过fiddler去抓包，但是我错了，fiddler出了点问题，后来用夜神模拟器去模拟手机，但是一直抓不到想要的包，于是又上网查，终于看到一篇文章说到开发者模式可以直接切换到手机模式

第一步

进入猫眼官网，找到一部电影，或者直接点开链接https://maoyan.com/films/248123

第二步

按下手机模式这个按钮，然后！！！必须再按F5刷新一次，然后就会变成手机模式，只有在手机上才会显示评论数的！！！

第三步

点击查看全部32567条评论，然后一直下滑查看评论，并且要点切换XHR，只看XHR格式文件，不然数据难找，最后找到comment.json，offset这个文件

第四步

查看这个文件的headers，得到URL：http://m.maoyan.com/review/v2/comments.json?movieId=248123&userId=-1&offset=15&l