python爬虫程序_Python+fillder爬虫抓取APP数据之小程序

1、下载fillder ,fillder官网：https://www.telerik.com/fiddler

2、安装好后设置fillder： 工具—>选项，打开设置面板。选择HTTPS选项卡。

对下边进行勾选：

点击链接进行如下设置：

点击online查看IP地址

在手机端设置IP代理，如果没有安装证书的需要在手机端自带浏览器当中输入IP地址以及端口号进行下载安装

在手机端点击安装证书

下载360免费WiFi，让手机连接360免费WiFi

打开某个APP或者微信小程序后发现抓到很多包，此时可以看到抓取的数据

在这里我们可以返现post请求的消息

在这里可以看到需要提交的数据

通过以上的分析可以开始爬取数据了

formdata = ("biketype=0&latitude="+str(latitude)+"&longitude="+str(longitude)+"&errMsg=getMapCenterLocation%3Aok&userid=用户ID&citycode=0755").encode("ascii")

最后可以看到爬取结果了