工欲善必先利器,爬虫要查看目的链接,http请求和响应,我们用的最多的是Charles工具,它支持在windows/MAC和Linux等系统,用起来也顺手,本文就手把手教你最新的charles安装、激活、代理设置和证书信任过程。
Charles下载和激活
下载
https://www.charlesproxy.com/download/
激活
打开Charles–Help–Register Charles–输入:激活用户名和key。
可省略内容:访问 Charles 官方网站:https://www.charlesproxy.com/ ,在网站上查找并选择 “Buy” 或类似的选项。 选择适合你需求的许可证类型,填写相关信息并完成购买。
PS:学术研究📝大家可以在公众号"java-tech"回复"charles
"获取激活key。
如果不激活,每30分钟charles就自动退出一次。
代理设置
Proxy – Proxy Settings
Proxy – SSL Proxy Settings
这里根据要抓的目标域名和端口设置,比如我们抓取公众号的,Host填mp.weixin.qq.com,Port填443,如果你想默认全部链接都抓,填*.*
信任证书
如果不按照受信任证书,很多内容是unknown的。
Help --SSL Proxying – Install Charles Root Certificate
一直下一步,选择“受信任的根证书办法机构”,证书没有问题就算完成。
正常的证书截图如下:
以上就是charles代理证书全部过程。有了charles,爬虫从此如鱼得水,犹如探囊取物。
大家有其他不懂的,可以留言交流。