网络抓包是解决网络问题的第一步,也是网络分析的基础。网络出现问题,第一步肯定是通过抓包工具进行路径分析,看哪一步出现异常。做网络爬虫,第一步就是通过抓包工具对目标网站进行分析,应对各种反爬策略。不会使用抓包工具的网络分析员等于是黑夜里找针,就算找到了,也是凭运气。网络抓包工具比较主流的有 Fiddler,Charles,WireShark,MITMProxy 等等。
Fiddler 主要用于 Windows 平台,配置简单,主要用于 HTTP 和 HTTPS 的分析。如果电脑主要用 Win 系统,只需要简单的分析 HTTP 请求,Fiddler 是首选。不过 Fiddler 在 Win7 平台上根证书安装总出现问题。
Charles 主要用于 Mac,现在也有 windows 版本了,界面雅观漂亮。由于 Fiddler 一直安装有问题,现在我主要用 Charles。Charles 是收费软件。
WireShark 操作起来比较复杂,但是功能强大很多。
MITMProxy 主要用于 linux 平台,图形界面和命令行都有。
本文主要介绍 charles 的安装和遇到的坑。
安装根证书
安装好软件以后,先需要下载根证书。根证书主要用于 HTTPS 请求分析,如果没有这个需求,可以不用安装,不过现在绝大多数的网站都启用了 HTTPS,可以说是必须要装了。
点击 help › ssl proxy › install certificate;
软件端的证书先称为服务端证书吧,对应的是客户端证书。
客户端安装证书
客户端证书主要是浏览器,手机等使用网络的设备,抓包就是抓这些设备的包。
先设置客户端代理,打开手机的 Wifi 设置,在手工代理里输入服务端的 IP 和 代理端口,比如 charles 安装在 IP 为 192.168.1.125 的电脑上,代理端口可以在软件彩带的 Proxy - Prxoy Setting 里设置,默认为 8888。
配置好代理以后,浏览器输入 chls.pro/ssl 下载和安装客户端证书。输入的时候 charles 软件必须打开,部分安卓机器的浏览器无法读取证书内容,会安装不上,可以换用 UC 等其他浏览器尝试。
下载以后进入手机的证书安装去安装证书,每个手机的路径不一样,需要自己找。
在 iPhone 下,需要进入设置 - 通用 - 关于本机 - 证书信任设置 - 启用完全信任。这一步非常重要,如果没有配置,很有可能导致无法抓包。
部分安卓机(小米)在配置完以后可能仍然会出现无法信任根证书的问题,这可能是手机厂商做的限制,现在还没有找到原因。
SSL 设置
charles 有一个白名单的机制,需要将目标网站的 Host 添加到白名单中才能抓取到 HTTPS,否则会报 Unknow Host 错误,如果看到这个错误,去 Proxy - SSL Proxy Setting 配置就可以了。比如配置所有 Host 的 443 端口:*:443
使用
配置完成以后,只需要在手机上使用浏览器或者 APP,浏览的网页对应的 URL 就会显示在 charles 的面板上了。可以用来分析请求,修改请求和响应,重复访问,压力测试等。
总结
使用 charles 最好是使用 iPhone 抓包,配置尤其要注意启用证书完全信任,否则 HTTPS 会抓不到包。安卓机系统小米无法使用,不知道其他人和其他系统如何。