Python爬虫入门-fiddler抓取手机新闻评论

之前一直都听过抓包，抓包，但是一直没有在手机上抓过包，这次一试，当做是一次小练习，在网上有挺多Fiddler安装和配置的教程的，我也找了一些，大家可以借鉴：

1、Fiddler|Fiddler安装与配置
2、抓包工具Fidder详解(主要来抓取Android中app的请求)
3、使用Fiddler抓到包后分析

之前在安装配置Fiddler的过程中因为使用某国产手机的原因无法使用代理被狠狠坑了一下，在此留个记号。

这次想练习的是今日头条新闻《跳楼产妇聊天记录曝光 丈夫：出事前未察觉她有情绪异常》 此新闻的相关评论信息。可以看到在PC端只是显示几条评论信息，所以就去爬移动端。
打开Fiddler，并且在手机上打开评论信息，不断下拉，可以看到评论会慢慢地加载出来，通过Fiddler的过滤功能，可以看到：

左侧这几条就是我们要找的相关的含有评论信息的链接，右上方是request,右下方是response。从右上上可以看出是正常的get方式的请求，返回的是JSon格式的数据。
这个URL很长，看着很晕，我就把这个URL复制到TXT文件下对比一下：

这个规律还是比较好找的，通过我不断对评论页的下拉，只有最后的offset参数按照20的整数倍发生改变，利用这个规律就可