一、 概述
以目前常见移动设备的存储和计算能力,是不可能实现在移动端进行模型训练的。但是如果在服务端利用海量的数据和计算资源训练好模型,然后将训练好的模型部署到移动端,只利用移动端的计算能力来进行推理,将分别发挥两项技术最优的性能,也是人工智能算法落地的趋势。
若按传统方式直接采集图像数据上传云端进行处理,既面临图像数据的安全性问题,又对通信带宽有较大的要求,且一旦终端数量大时,会为云端处理图像的服务器带来很大的压力,而本项目是在本地处理数据,数据没有上云的过程,就可以保证用户的信息安全,免除不必要的麻烦。且经过嵌入式的前级处理,就可以只传输有价值的信息,而非原始的大容量视频,能够有效减少传输带宽以及后端部署服务器的计算量及存储量,让系统的整体架构变得更加轻便。
本项目基于MTK主控,现将训练好的模型部署在MTK嵌入式平台上,使主控一边将摄像头的视频采集回来进行实时的处理,一边与协处理器(单片机端)进行数据通信,协处理器先将传统的传感器数据采集计算整理好后再与MTK主控进行通信,这不仅节约了MTK的接口,也节省了一部分算力。使MTK性能更多的用在图像的实时处理与人机交互的功能上。
Android是大部分物联网设备未来的内在系统,而TensorFlow又是业内标准的训练框架,这两个系统的整合将会产生巨大的化学反应。
二、 整体框架
在AI部分,首先需要搭建相应的人工智能学习网络,完成数据集的搜集,并对模型进行训练,在过程中不断优化算法、调节参数,得到需求的模型并将其移植到嵌入式平台上。
而嵌入式端的任务