03 APP爬虫

APP爬虫—Fiddler的安装与使用

Fiddler的简介

Fiddler是位于客户端和服务器端之间的代理，也是目前最常用的抓包工具之一 。它能够记录客户端和服务器之间的所有 请求，可以针对特定的请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。
看到这么多的应用，是不是就迫不及待的想要开始你的抓包之旅呢，不要急，俗话说的好：工欲善其事，必先利其器，我们先来安装Fiddler吧。

Fiddler的下载

• 打开官网，官网下载地址是https://www.telerik.com/download/fiddler
• 打开以后选择你的相关信息如下图：
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wsMFBrqc-1601297571699)(assets/1581705701897.png)]
• 然后点击Download按钮开始下载

Fiddler的安装

• 下载完成后双击安装包，如下图：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9Paciq9c-1601297571700)(assets/1581706754433.png)]

• 点击I Agree按钮，然后选择你想要存放的安装目录，如果不需要修改，使用默认的即可。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tp7jMtO4-1601297571701)(assets/1581706849328.png)]

• 点击Install按钮，等待一会时间后即可安装成功。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4R6NgamM-1601297571704)(assets/1581706879879.png)]

• 点击Close按钮
• 到这里我们就初步安装成功了

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gIjKKdSw-1601297571706)(assets/Snipaste_2020-02-15_18-27-46.png)]

Fiddler的配置

端监听手机端设置

但是如果你想要对手机上的app进行抓包怎么办呢，那么你还需要进行以下操作：

首先你的Fiddler所在的电脑和手机必须处在同一个局域网内(即连着同一个路由器)。

查看你的本机IP地址，在Fiddler的右上角有一个Online按钮，点击一下会显示你的IP信息

配置连接信息：Tools > Options >Connections

• 端口默认是8888，你可以进行修改。

• 勾选 Allow remote computers to connect 选项，然后重启Fiddler，再次打开时会弹出一个信息，选择ok即可。

• [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HOc9Usnm-1601297571707)(assets/1581707266685.png)]

• fiddler默认只抓http请求，若要抓https请求，要进入tools-fiddler options设置

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5EeHdjX2-1601297571707)(assets/1581710000950.png)]

手机的设置

打开你的手机，找到你所连接的WIFI，长按选择修改网络，输入密码后往下拖动，然后选择wifi

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gCmulgSr-1601297571708)(assets\image-20200529140613500.png)]

然后选择更多设置

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WevoR8cA-1601297571708)(assets\image-20200529140706855.png)]

然后点击已经连接的wifi

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jgzLUlet-1601297571709)(assets\image-20200529141424552.png)]

然后勾选显示高级选项，然后在代理一栏选择手动，再将你先前查看的IP地址和端口号输入fiddler抓包的代理，然后保存。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H8xeGkWQ-1601297571709)(assets\image-20200529141822614.png)]

重启fiddler，最后安装手机证书，在手机浏览器一栏输入fiddler的运行地址

ipv4.fiddler:8888

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bDaw9aCW-1601297571710)(assets\image-20200529142201629.png)]

点击 FiddlerRoot certificate 就会下载证书，下载完之后点击下载证书，随便输入一个名字即可安装好。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OQU8lfiw-1601297571710)(assets\image-20200529142458062.png)]

点击确定之后，就安装好了。

测试一下，比如在手机上打开app，找到评论的那一个请求。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LXnQhMo8-1601297571711)(assets\image-20200529143147115.png)]

Fiddler功能区说明

字段说明

​ Fiddler想要抓到数据包，要确保Capture Traffic是开启，在File –> Capture Traffic。开启后再左下角会有显示，当然也可以直接点击左下角的图标来关闭/开启抓包功能。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N9TARi4u-1601297571711)(03 APP爬虫.assets/image-20200820151128008.png)]

Fiddler开始工作了，抓到的数据包就会显示在列表里面，下面总结了这些都是什么意思：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bx5e1a2c-1601297571712)(03 APP爬虫.assets/image-20200820153123033.png)]

名称	含义
#	抓取HTTP Request的顺序，从1开始，以此递增
Result	HTTP状态码
Protocol	请求使用的协议，如HTTP/HTTPS/FTP等
Host	请求地址的主机名
URL	请求资源的位置
Body	该请求的大小
Caching	请求的缓存过期时间或者缓存控制值
Content-Type	请求响应的类型
Process	发送此请求的进程：进程ID
Comments	允许用户为此回话添加备注
Custom	允许用户设置自定义值

左边看完了，现在可以看右边了。右边是请求体和响应体数据！我们所有请求需要的参数就在右边上半部分找

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vUZJTV7b-1601297571713)(03 APP爬虫.assets/image-20200820153746804.png)]

• 通常我们在 Statistics 中 Row 栏目下就可以看到完整的请求体数据

案例：全民小视频品

下载一个视频

在手机软件中，安装好全民小视频之后，刷视频之后就能在fiddler看到抓包的信息

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SwZeGiuT-1601297571713)(assets\image-20200529155629028.png)]

• 中 Row 栏目下就可以看到完整的请求体数据

案例：全民小视频品

下载一个视频

在手机软件中，安装好全民小视频之后，刷视频之后就能在fiddler看到抓包的信息

[外链图片转存中…(img-SwZeGiuT-1601297571713)]

然后将右边请求体的数据构建成requests请求即可拿到数据。