下面我先展示一下我现写的成果,后面再讲实现思路。
自训练AI,实现树莓派、Android手机客户端的气象识别
我拿识别天气举例子,让模型识别晴天、阴天、下雨这3种状态。这源于农村老家下雨时,自动开关晒粮防雨布的设想。
首先,准备一些数据。你只需要把晴、阴、雨三种状态的图片整理成3个文件夹,然后压缩成zip格式即可。
然后,通过网页直接上传到平台即可进行训练。
整个流程分为3步,先上传训练数据,也就是那个带分类文件夹的zip压缩文件。第2步执行训练,训练完成后会生成模型。除了服务器用的模型权重,也包括可在嵌入式设备运行的tflite文件。
下面是训练过程。700多张图片,总共训练了1.5小时就完成了。
我的电脑配置是16G内存,4核i5的处理器。这是我2012年买的老电脑。内存扩充过,从8G升到了16G。
那位说没用GPU?!用啥GPU?这点活CPU就搞定了!甚至我的云服务器是阿里的ECS,99元一年抢的,程序一样能跑起来。
运行后看识别分类效果:
上面是在PC端的效果。下面展示的是手机端的效果:
没有联网,这是完全单机的Android手机。我们看到在手机端的识别速度在0.1秒左右,非常之快。
后面还有在树莓派上的效果。很多人对树莓派(Raspberry Pi)不熟悉,其实它就是一个微型电脑。个头像信用卡一样大,用5V电压就能运行。
我这个是3B+版本,1G内存,1.4GHz的4核处理器。售价35美元,换成人民币不到200元。业内都知道这玩意儿,业外感觉很神奇,居然还有这么小的电脑。
确实有,早在2012年就出现了。它能随身携带,能编程,能处理办公文件,除了配置低点,其他和电脑没什么区别。我把树莓派做如下连接和配置:
同样是单机版的。不给它联网,只用一个5V电源供电,我们看看它能做出什么样的效果。
当时晴天时,LED亮起绿灯,当天气变为雨天时,LED灯变为红色。
由雨转晴也是红灯变绿灯。
如果是阴天,黄灯就会亮起。现在只是LED灯的变化,如果应用起来,可以变为防雨设施的控制开关。
好了,上面是功能的展示,下面说一下技术上的实现方式吧。
整个过程,硬件没有多少成本。自己的电脑,或者花几百块钱买阿里云服务器也可以。人力方面,V我50,或者自己招聘一个月薪5000的实习生都可以做到。反而最难的,就是你要有数据。如果是通用场景,可以寻找公开的数据集。如果是私有场景,你需要有一定量的数据。
对于数据的训练,可以采用谷歌的TensorFlow深度学习框架实现。之所以选用这个平台,主要是因为……我熟悉。
天气的分类,或者猫狗的分类,以及所有对图片进行归类的功能,都属于图片分类的范畴。
图片分类是人工智能的入门课程,是人工智能的第一个程序,程序员叫“Hello World”(刚上编程课,在屏幕上输出hello world,表示软件安装好了)。这就像是学开车拧钥匙启动发动机一样的基础技能。
TensorFlow中对于图像分类是这么进行设计的。
确实就这么点代码。原来,它的第一个hello world是用公开的MNIST手写数字数据集训练手写识别。后来感觉太low了,就改为了物体的识别。
而对于TensorFlow训练完成的模型,可以轻松转换为适合嵌入式设备运行的tflite格式。
如上图左上部分的“使用入门”所示,Android、iOS快速入门。用智能设备(手机、平板、手表)都可以加载并运行训练好的tflite模型。以下是我将官方的MNIST手写数字分类模型导出为tflite格式,然后运行在Android手机上的表现。
我们看到,识别过程十分流畅和准确。用时基本在毫秒级别以内。它更主要的优势在于不用和服务端交互,也就是现在比较火的边缘计算。
为了表明真实性,我还是把Android平台的项目代码亮出来。
这是项目结构,tflite模型放到assets目录下。
下面是加载模型的方法。其实也多是Android原生加载assets下文件的常规代码。不同点就是这里多了一个加载tflite的Interpreter类。
这个类的使用,需要在build.gradle依赖中指定它的支持库。这一点在官方文档也有介绍。
最后就是给它一张图片,让它判断属于什么分类了。
通过把Bitmap包装成模型的输入层,然后交给interpreter.run执行。模型会把预测结果写入到outputArray中。这outputArray里面就包含分类的结果,里面是各个分类的置信度。选出最高的一项,就是最终的分类归属。
到此,完成了Android端的图片分类。
那么,树莓派上是怎么搞的呢?其实,树莓派是一个小型的Linux系统,一切按照python那么执行就可以了。
官方说明文档如下:
运行tflite一般都是在移动设备,和Android平台类似,不需要安装庞大的tensorflow库,只需要一个可以读取tflite格式文件的运行支持库。这个库很小,正好适合运行在小型设备。
下面就是我在树莓派上的关键代码:
通过导入tflite_runtime库,就可以读取并运行tflite文件。然后将摄像头获取到的图像传给interpreter进行处理。因为是python语言,所以它比Android平台的实现要简单得多。
看吧,这一整套流程,从TensorFlow训练数据集的组织,到模型训练保存,再到导出tflite格式,再到用Android和Raspberry Pi加载并进行推理。全是公开的信息,全在官方文档的明面上写着,可谓没有一点技术含量。我只是做了一个整合和落地。
其实,要说一点技术含量也没有,也不严谨。你起码要了解TensorFlow平台的搭建和应用,因为你要训练。你要知道神经网络的层,输入层的组织、输出层的分析,要掌握图形图像处理的基本方法。这是对AI方面的了解。
另外,咱们还有一个自训练后台。得写页面吧,这是前端,得了解html、js等前端知识。前端获得用户输入调用后端的api接口,这又得对web后端服务有所了解。再转到Android平台,你想要写一个App在手机上跑,你又得知道客户端的开发。这不管是哪个端,都属于软件工程,整体上如何进行紧密配合形成体系,这又是架构能力。
抛去软件不谈,想在树莓派上搞东西,多多少少得了解一些硬件的知识吧?比如LED灯的电流,从长脚进短脚出才能发光。再比如哪个引脚是GND接地线,哪个是GPIO通用口,如何控制,这也得知道。
我还是坚持我的那句话:专业实用化,永远不做大。