数据获取渠道
1.网站
2.手机APP
3.小程序
4.搜索引擎
抓包分析工具
1.Charles(不了解)
支持的代理类型:HTTP代理、HTTPS代理、Socks5代理。
注意:1.在移动端配置时,由于Android的某些应用会忽略系统的全局代理,所以Charles无法获得流量,可以借助Postern进行流量的转发。
2.Android 7及iOS系统引入了SSL Pinning技术,在解密时需要安装Charles的证书。
绕过SSL Pinning 的方法有:
·使用Android 7 以下版本的手机
·破解Android 7 以上的手机并进行root,安装Xposed框架,然后安装JustTrustMe进行破解;或者对root过的手机使用Frida结合Universal Android SSL Pinning Bypass with Frida脚本。
2.Packet Capture (不了解)
与Charles相比的不同:
·只能在手机上抓取、查看。
·不能修改网络流量。
·能针对特定的APP进行流量拦截。
·以VPN的形式提供服务,可以抓取设置代理后无法工作的软件。
3.mitmproxy
可以在终端下运行,并且可以用来拦截、修改、重放和保存HTTP/HTTPS请求。与Charles不同的是,mitmproxy可以利用Python脚本进行定制化的操作,通常来讲,我们会用Charles进行一系列分析,在需要拦截、修改、保存请求时再使用mitmproxy工具及其脚本。
爬虫和反爬虫的斗争