python3爬虫实战(三):mitmproxy对接python下载抖音小视频

一、前言
前面我们已经用appium爬取了微信朋友圈,今天我们学习下mitmproxy,mitmproxy是干什么的呢,它跟charles和fiddler类似,是一个抓包工具,以控制台的形式显示,mitmproxy的重要性在于它可以对接python,可以通过python处理抓包的数据。
试想一下我们如果不用mitmproxy,用fiddler抓取抖音的视频地址,我们可以抓到视频的地址,这些地址要是可以直接用requests缓存下来就好了,mitmproxy就派上用场了。
知乎:https://zhuanlan.zhihu.com/p/41492085
GitHub:https://github.com/FanShuixing/git_webspider

二、学习目标
可以根据抖音号和抖音名称爬取到对应的抖音小视频

三、学习资料(感谢分享)

崔大的mitmproxy安装教程:https://cuiqingcai.com/5391.html

抖音教程:https://blog.csdn.net/mp624183768/article/details/80956368

fiddler的使用:https://blog.csdn.net/c406495762/article/details/76850843

四、mitmproxy的安装
请先按照崔大的mitmproxy的安装 进行安装和证书的配置,如果安卓证书安装有问题,可以参看下面(华为手机,应该普遍适用):
把文件复制到手机qq后,可以在文件管理的下载中查看qq文件
这里写图片描述
第一个是我们下载的证书,长按后勾上它
这里写图片描述
点击下面的菜单,查看详情,这样可以看见这个证书的具体位置,一会有用
这里写图片描述
电脑打开360WiFi后,手机连接上360WiFi,在WiFi里面的菜单
这里写图片描述这里写图片描述
这里写图片描述
安装证书就需要找到证书的位置,这样刚才我们在文件管理里面看到的位置就可以在这儿用到,找到证书安装即可。
配置代理
证书安装完成后,要配置手机和电脑处在同一个局域网内,我建议用360wifi,其它wifi应该也可以,但是最好不要用自己家路由器的wifi,我家wifi测试的时候没成功,360WiFi才成功了的。

评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值