前言
如果你以为python只可以爬取web网页,那就大错特错了,本篇文章教你如何爬取手机app的信息。
Charles(抓包工具)的安装
1.1 下载
由于是收费软件,这里给大家一个链接,自行下载,windows版本,如果是其他系统还是去官网吧。https://www.charlesproxy.com
windows版:
网盘下载链接及提取码请扫码关注文末公众号后回复“抓包”获取
1.2 安装证书
由于现在的网站基本全都是https通信协议,所以我们需要配置SSL证书。
下载完成后打开软件。点击help-->SSL Proxying-->install Charles Root Centificate。
在弹出的安装证书页面,点击安装证书,点下一步--选择证书的存储区域--下一步--选择将所有的证书都放如下列存储--浏览--受信任的根证书颁发机构--确定--下一个--是--安装完成。
1.3 手机安装证书(Android)
在pc端的Charles中查看代理是否开启。Proxy-->Proxy Settings。查看HTTP Proxy 是否开启,没有开启的点击 Enable transparent HTTP proxying,点击ok即可。
手机和电脑连同一个wifi,查看一下电脑的ip地址。我的是192.168.1.17。打开手机的wifi,连上wifi,代理,手动,主机名填写ip地址,也就是192.168.1.17.默认端口号是8888,电脑上会弹出一个是否信任的窗口,点击Allow即可。
手机端在浏览器(不要用原装浏览器)中打开chls.pro/ssl 会弹出一个下载页面,下载即可。
1.4 体验一下Charles
点一下左侧的扫把,清空,开启监听,即左侧第二个按钮。手机打开qq,打开列表一直划,会看到左侧出现了很多请求,遗憾的是只能看到好友的头像,其他内容都加密了。捕捉到信息后点击一下,再点击右边的Contents,可以看下返回的数据,json,jsontext 等等,捕捉到的信息足够我们分析页面就好了。可以自己动手体验一下。
Appium的安装
appium是什么?和selenium很像,一个在pc端,一个在手机端而已。
appium下载地址:https://github.com/appium/appium-desktop/releases
Android Studio下载地址:https://developer.android.com/studio/index.html?hl=zh-cn
我们还需要安装java环境。和nodejs,这些直接百度下载,安装即可,需要配置好环境变量。
appium的使用
安装好所有的配置环境后。我们打开appium、会看到这个页面。
我们直接点击 Start Server 即可。注意,appium使用的前提是需要android sdk和 java环境。如果没有配置好,后面运行是会报错的,出现错误可以后台直接回复,看到会第一时间回复。点击之后我们进入到这个页面:
我们点击右上角第一个像搜索的按钮,创建一个新的Session,会出现:
此时我们需要将我们的Android手机用数据线和电脑连接,并且把手机的use调试功能打开。我们可以输入dos命令,查看手机是否已经连接并开启了usb调试功能。adb devices -l 会看到:
表示手机连接成功,如果没有出现,说明可能手机没有开启usb调试功能。model 表示手机型号.
接下来,我们在新创建的Session中写点配置,实现自动打开微信页面。
"platformName": "Android",
"deviceName": "MI_6",
"appPackage": "com.tencent.mm",
"appActivity": ".ui.LauncherUI"
platformName:平台名称,我们的是Android。
deviceName:手机型号。
appPackage:微信的包名。
appActivity:微信的入口。
点击Save, 再点击Start Session,会看到如下页面。
找到我们的登录按钮,点击一下右侧Tab,即可进入登录页面:
同样的,我们定位到手机号按钮,点击右侧的Send keys, 即可:
点击Send keys 即可同步。如果要生成对应的python代码,可以这样:
点击最上方第三个录制按钮,再点一下Tab,在Recorder选择python即可。
用python操控app
4.1 打开微信
这样即可达到打开微信的操作。
4.2 点击登录输入电话号码
这里需要有selenium的基础和解析库的基础,不知道的可以看下:连接1,连接2
4.3 获取微信按钮的id
其他操作
上一个示例已经完成初始化desired capabilities,定位到元素,点击,文本输入操作操作。
5.1 屏幕滚动操作
scroll('被操控元素','目标元素')
5.2 利用坐标滚动
swipe(start_x,start_y,end_x,end_y,duration = None)
start_x:起始坐标横坐标。
start_y:起始坐标纵坐标。
end_x:结束坐标横坐标。
end_y:结束坐标纵坐标。
duration:点击的持续时间。
还有一个方法没有持续时间,直接快速滑倒该位置。
flick(start_x,start_y,end_x,end_y)
5.3 拖拽操作
drag_and_drop('被拖拽元素','拖拽到的目标元素')
最后送大家一个工具大礼包如上,请扫码关注下方公众号后回复“大礼包”获取