mitmproxy的安装与错误处理

一、安装

1、根据网上步骤，安装mitmproxy，也可以直接使用pip install mitmproxy实现快速安装（这个快捷方式安装了全套，即mitmproxy、mitmdump、mitmweb）,.
这里说一下mitmproxy、mitmdump、mitmweb三者之间的区别，mitmproxy是linux系统专用的可视化的类似终端工具；mitmdump专门用来操作python脚本，属于后台操作；mitmweb将响应展现在网页中。
2、在终端执行mitmdump工具，自动生成ca证书，点击p12作为后缀的文件，进一步安装即可。
3、mitmproxy默认的端口是8080，要抓取chrome浏览器返回的结果，就需要配置internet（注意：这一步很多资料没有，但是不设置就会遇到坑），步骤如下：



最终效果如上图所示，要完成以上，就先勾选上图的“使用代理服务器。。。。”,然后选择高级，进入如下：

4、通常是以上步骤，便可以正常使用mitmproxy，如果不行，先试着进行chrome浏览器ca证书配置，（把第2步得到的证书导入受信任的根证书）
5.如果需要抓取手机数据，则要进行手机端的ip代理配置（注意：手机和电脑必须连接同一局域网），这一步的代理就是相当于手机给电脑发送请求，电脑作为代理帮忙去抓取数据，然后返回，手机从电脑那里拿到数据。具体配置看其他资料。证书名是mitm.it

二、错误处理

1、输入“C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --proxy-server=127.0.0.1:8080 --ignore-certificate-errors”浏览器有错误提示，说明自己的浏览器驱动器跟浏览器不匹配，重新下载安装驱动即可。
2、输入“C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" --proxy-server=127.0.0.1:8080 --ignore-certificate-errors”没有提示错误，但是mitmweb抓不到数据，很大可能是internet没有设置代理，参照一中步骤3即可，如果再不行，就是ca证书没有配置成功，按照一中两处关于ca证书配置步骤，配置即可。
3、一般而言，抓取不到数据的错误，多出现在chrome浏览器，如果无法解决，可以试着把mitmweb放在chrome中，然后用其他浏览器打开你需要抓取的网页，会有意想不到的事情发生。
4、打开mitmdump用不了，但是mitmweb可以用。解决办法：关掉mitmweb，两者不能同时使用。
5、打开mitmdump后，发现自己的其他网络爬虫报了错误。因为mitmdump的代理设置影响到了这些爬虫的正常访问，把上文中的“一”中的步骤“3”设置取消即可正常使用其他爬虫，但是要注意，这时候mitmdump不再能使用。