SonicOperator之Android端

客户端允许用户根据自身喜好自定义操作，将解决方案上传到云端共享，或者下载直接使用。
用户打开脚本录制按钮，在屏幕上做出一系列操作，app会采集触屏数据信息，关闭数据采集按钮后，用户填入相应描述信息，app对有用屏幕数据的提取，生成配置文件以供使用。
在“云端”栏，用户选中其中一个解决方案，点击下载，即可在供用户使用。在“我的手势”栏，用户可编辑、删除本地手势。点击调整精度，可以根据习惯选择高中低精度。打开超声波监听按钮，即可隔空手势操作手机。架构图如Fig.1:

UI设计整体采用扁平化风格设计，更少的按钮和选项，这样使得UI界面变得更加干净整齐，使用起来格外简洁，从而带给用户更加良好的操作体验。UI设计展示图如Fig.2，Fig.3：




模拟触摸事件
在手机ADB SHELL中，使用INPUT来模拟按键。用户手指滑动屏幕，ADB SHELL输出屏幕触碰事件信息，采集关键信息，转换为KEYEVENT, SWIPE, TAP, TEXT四种类型的命令，作为配置文件保存在手机数据库中。用户做出隔空手势操作后，由神经网络分类得出的结果和上述配置文件匹配，即可完成隔空手势操作。KEYCODE对应表部分截图Fig.4 ,Fig.5如下：