终端侧人工智能碎片化挑战——如何在MCU和低性能MPU上实现人工智能？

从2018年年底开始国内的人工智能明显进入低潮期，一个原因是落地变现难风投撤资，另一个原因是因为米国的原因国内都在做基础性质芯片和操作系统等的国产替代没空搞人工智能。当然世界人工智能浪潮不会等中国人实现了国产替代才继续前进，但是肯定在受到2020年的新冠肺炎疫情影响生产活动减少，比如2020年初 ARM公司发布Cortex-M55内核架构这都年底了没有一家半导体厂商根据这个内核做出MCU。现在国内受到基础国产替代和技术进步追赶双重挑战，正是激荡的年代，既不能盲目乐观也不能盲目悲观。

终端侧人工智能在2017年被提出后就被业内广泛讨论，但其实终端侧人工智能只在算力比较强或成本不太敏感的手机、智能音箱、智能驾驶等行业有运用，大部分做终端厂商其实还是传统地挣扎于如何挑选成本更低的MCU或低性能MPU。但是这样也不阻碍我们讨论如何在MCU和低性能MPU上实现人工智能。首先这里讨论的肯定是人工智能的推理，不是训练，训练一般要在算力非常富足的PC和服务器上做。但是在终端实现人工智能推理并不像很多人想象的那样比较统一化，实际上是类似RTOS、驱动等还是高度碎片化。包括ST、NXP、Microchip、TI、英飞凌（赛普拉斯）、瑞萨等主流MCU和MPU厂商都推出了自己的终端侧人工智能推理方案。

目前来说做的比较好的是NXP和ST。NXP针对旗下的I.MX RT1060系列有专门的图像识别、语音识别SDK，ST也有类似的SDK推出，这些是能落地且成本比较低的方案。但是基本上都是闭源的，开发者只能调API。实际开发难度并不大，熟悉接口很快就能调起来。但就像驱动接口不统一一样，各家用各家的AI SDK包换了硬件自然不能类似PC程序那样简单移植。可以肯定的是已经有人在拿他们两家的方案做产品了，即使技术上只是重复一遍高性能MPU那套，但是成本实在诱人。

对于嵌入式软件开发者而言需要做的可能仅仅是把官方发布的终端侧AI SDK整合到自己的产品软件上，就像以前整合http协议栈、视频编解码包等一样。唯一不同的是要了解基本的概念，不然接口函数的作用和调用过程都搞不清楚。在笔者看来了解需求比选择使用人工智能SDK更加重要，需求不明确会造成资源浪费和过大的研发投入。