【深度学习】嵌入式人工智能概述

1. AI嵌入式系统

1.1 概念

嵌入式系统是指“嵌入”在应用中的计算机系统。嵌入式系统和传统PC的不同之处在于它通常针对特定应用配备专用软硬件接口，在运算速度、存储容量、可靠性、功耗、体积方面的要求和通用PC有明显差别。我们在日常生活中随处可见嵌入式系统，比如智能手机、万用表、无人机控制系统、电信交换机、洗衣机、智能电视、汽车控制系统、医用CT设备等。

1.2 特点

通常来说，嵌入式系统具备以下几个特点：

1. 高可靠性，比如控制电信交换机的嵌入式系统需要24小时不停歇地工作，可靠性达到99.999%或更高；
2. 低延迟响应，比如车载刹车防抱死系统，需要在紧急刹车时实时判断车速，识别轮胎状态，在规定的时间内输出刹车控制命令；
3. 低功耗，比如万用表等手持测量设备，可能需要依赖电池使用几个月甚至几年；
4. 小体积，比如手机、无线降噪耳机等便携设备需要在有限体积内安装嵌入式控制系统，以满足应用场景的要求。

1.3 智能应用需求

传统的嵌入式系统主要用于控制，即接收传感器信号、分析并输出控制命令。随着应用需求的发展，越来越多的嵌入式系统要求具备“人工智能”，成为“智能嵌入式系统”。和传统的“控制类”嵌入式系统相比，智能嵌入式系统在智能感知、智能交互和智能决策方面有了增强。

1.3.1 智能感知

传统嵌入式系统基于固定规律，比如信号均值和方差或者它的频域变换等分析、理解信号，随着应用的拓展，人们需要让嵌入式系统理解更加复杂的或者有变化的场景。比如让智能相机系统识别当前拍摄的场景是自然风景还是室内人物或者城市建筑等；负责机械设备监控的嵌入式系统要能够识别多种异常振动模式，并对这些振动进行故障识别和分类。这一类感知和识别依赖更加复杂的分析和判断模型，通常基于有监督的训练数据得到模型参数，相比之下，传统的基于人工特征选择和信号分析算法难以实现复杂多变的智能感知。

1.3.2 智能交互

智能嵌入式系统要求和用户有更加“拟人”的双向交互能力，比如通过语音识别获取用户指示并通过“语音”汇报执行结果，或者通过手势识别、人脸表情识别等判断用户意图，并做出正确的响应，这一能力支撑了嵌入式系统实现各类“人机协作”应用。相比之下，传统的嵌入式系统交互方式限制大，通常只通过简单的按钮、显示屏交互，应用场景受限，人机互动效率低。

1.3.3 智能决策

具备自主决策能力是现代嵌入式智能系统的另一重要特性，比如在自动驾驶系统中，需要车载嵌入式系统根据车速、道路障碍、交通标识信息对当前状态以及趋势进行判断，并在有限时间内发布行驶指令。此外，该系统需要能够“随机应变”，遭遇未知状态时，能够权衡动作收益和风险，给出合适的动作输出。传统的嵌入式系统在智能决策方面往往基于固定且简单的逻辑规则，虽然高效实时，但在灵活性和适应性上无法满足各类复杂应用场景对嵌入式系统的要求。

1.4 面临挑战

需要注意的是：机器学习算法涉及训练和推理两部分，其中训练部分需要访问海量训练样本，搜索最优的算法参数，对运算速度、功耗要求高，难以在嵌入式系统中实现，目前主要依靠GPU系统完成。相比机器学习算法的训练，推理过程的运算量小得多，但对于资源有限的嵌入式系统，实现机器学习推理算法仍旧面临挑战，需要从不同层次进行优化。

之前介绍的“智能”型应用需求对嵌入式系统的软硬件带来了挑战，这些挑战主要来自这些应用所需要的算力需求。比如目前常用的图像分析深度卷积神经网络算法，它们的底层运算主要是二维矩阵卷积或者矩阵乘法运算，实现这些算法需要进行大量乘加运算和海量存储。