一分钟学会如何自动抓取app数据

网络爬虫比较适合搜集web页面数据，但在app当道的时代，很多app根本就没有对应的web网站，所以使用传统的网络爬虫抓取数据已不再适用。最近研究了一下解决方案，发现目前市面上的解决方案要么是java要么是python，门槛有点高，开发和维护成本比较高。最近一直都在研究的冰狐智能辅助号称可以不用编程就可以实现app自动化，今天我们就用它来试下在不编程的前提下如何轻松实现自动抓取app 数据，下面以拼多多为例进行讲解。

准备工作

1. 注册冰狐智能辅助账号
2. 准备android手机一台
3. 在android手机中安装并登录冰狐智能辅助app

详细准备过程请查看这里https://aznfz.com/document/prepare一定要严格按照文档提示完成所有步骤，否则可能无法正常工作。

业务逻辑

目标：获取拼多多中价格小于1.6的商品

1. 启动拼多多
2. 循环浏览商品列表
3. 挑选价格小于1.6的商品

具体实现

创建自动构建

在网页端「移动端」/「自动构建脚本」中创建一个名为“test”的自动构建，然后点击“配置构建”。所有的业务相关模块都放在main模块中，点击main模块的“编辑”按钮，如下图所示：

 

选择模块和配置参数

直接根据上面的业务逻辑来选择对应的业务模块，并配置相关参数

1.启动拼多多，选择“启动App”模块，并配置包名和tag名

 2.循环浏览商品列表，循环滚动页面，选择“循环处理”模块，类型选择永久循环类型

 3.遍历当前的商品列表，选择“遍历容器”模块

4.挑选价格小于1.6的商品，选择“获取控件文本”模块提取价格

 

自动构建模块和参数配置

完整的自动构建模块和配置参数如下，可以直接在自动构建处，点击“test”右边的“配置源码”按钮，把如下配置数据粘贴进去即可自动生成自动构建。

{
	"type": "root",
	"children": [{
		"type": "declareVar",
		"var": [{
			"name": "temp",
			"type": "normal",
			"initType": "null",
			"initValue": "null"
		}, {
			"name": "ret",
			"type": "normal",
			"initType": "null",
			"initValue": "null"
		}, {
			"name": "view",
			"type": "normal",
			"initType": "null",
			"initValue": "null"
		}, {
			"name": "viewContainer",
			"type": "normal",
			"initType": "null",
			"initValue": "null"
		}, {
			"name": "tag",
			"type": "normal",
			"initType": "null",
			"initValue": "null"
		}, {
			"name": "item",
			"type": "normal",
			"initType": "null",
			"initValue": "null"
		}, {
			"name": "index",
			"type": "normal",
			"initType": "null",
			"initValue": "null"
		}, {
			"name": "data",
			"type": "normal",
			"initType": "string",
			"initValue": ""
		}, {
			"name": "text",
			"type": "normal",
			"initType": "string",
			"initValue": ""
		}]
	}, {
		"type": "main",
		"desc": "业务逻辑入口",
		"debug": false,
		"params": [],
		"children": [{
			"type": "launchApp",
			"desc": "启动APP",
			"debug": false,
			"packageName": "com.xunmeng.pinduoduo",
			"tag": "txt:推荐|txt:首页#",
			"maxStep": "30",
			"children": [{
				"type": "loop",
				"desc": "循环处理",
				"class": "4",
				"debug": false,
				"children": [{
					"type": "scroll",
					"desc": "滚动处理",
					"class": 1,
					"debug": false,
					"direction": "up",
					"tag": "",
					"family": [],
					"descendant": [],
					"widgetIndex": "0",
					"minDistance": "0.98",
					"maxDistance": "0.98",
					"minScrollCount": "1",
					"maxScrollCount": "1",
					"minDuration": "500",
					"maxDuration": "500",
					"beforeWait": "1000",
					"afterWait": "1000"
				}, {
					"type": "traverse",
					"desc": "遍历当前商品列表容器",
					"class": 1,
					"debug": false,
					"tag": "cn:android.support.v7.widget.RecyclerView#",
					"family": [],
					"descendant": [],
					"failed": "",
					"traverseSelf": false,
					"retryCount": "0",
					"startIndex": "0",
					"lastIndex": "0",
					"randomPickCount": "0",
					"clickable": false,
					"className": "",
					"children": [{
						"type": "searchView",
						"desc": "搜索价格",
						"debug": false,
						"tag": "txt:¥#",
						"root": "item",
						"family": [],
						"failed": "",
						"duration": "500",
						"maxStep": "5",
						"beforeWait": "0",
						"afterWait": "0",
						"fetchResultIndex": "0",
						"returnVarIsLocal": false,
						"children": [{
							"type": "dataDeal",
							"desc": "数据价格控件",
							"debug": false,
							"data": "view",
							"operate": ["0:nextSibling"],
							"returnVarName": "view"
						}, {
							"type": "getText",
							"desc": "获取商品价格",
							"class": "2",
							"debug": false,
							"family": [],
							"descendant": [],
							"returnType": "float",
							"returnVarName": "text",
							"returnVarIsLocal": true,
							"target": "view"
						}, {
							"type": "if",
							"desc": "判断价格是否满足要求",
							"class": "2",
							"debug": false,
							"family": [],
							"descendant": [],
							"expr": "(typeof text == 'number') && (text<=1.6)",
							"children": [{
								"type": "toast",
								"desc": "弹出框",
								"debug": false,
								"textList": ["string-找到价格小于规定的商品了"],
								"x": "-1",
								"y": "-1",
								"duration": "1000",
								"beforeWait": "0",
								"afterWait": "0"
							}]
						}],
						"false": {}
					}]
				}]
			}],
			"false": {}
		}]
	}],
	"desc": "根模块",
	"debug": false
}

运行测试

请按如下步骤运行测试

1. 开启冰狐智能辅助app调试模式
2. 把自动构建编译成js脚本，在网页端「移动端」/「自动构建脚本」找到“test”，然后点击右边的“编译”按钮，即可自动生成名 test 的js脚本。
3. 运行js脚本，在网页端「移动端」/「移动端脚本」找到到“test”，然后点击右边的“运行”按钮，选择设备，开始执行脚本。