点击上方“蓝字”,关注我们,感谢!
![6f4fb3da-9321-eb11-8da9-e4434bdf6706.gif](http://p03.5ceimg.com/content/6f4fb3da-9321-eb11-8da9-e4434bdf6706.gif)
![724fb3da-9321-eb11-8da9-e4434bdf6706.gif](http://p03.5ceimg.com/content/724fb3da-9321-eb11-8da9-e4434bdf6706.gif)
人工智能在视觉ADAS系统中的应用
AI和深度学习正在改进ADAS系统并支持自动驾驶车辆,因为它们能够显著提高对物体和行人探测的准确性,也能够更好地识别多种物体,这都是传统算法很棘手的问题。 AI甚至能够让汽车对周围环境进行语义分析,这在您的汽车需要评估附近的环境和事件时将变得至关重要。 AI主要出现在汽车应用中的两个领域:一个是具有人机界面(HMI)的信息娱乐系统,另一个是ADAS或自主驾驶车辆。HMI包括语音识别(自然语言界面)、手势识别和虚拟助理,这些都已经部署在现有的车辆中。这些系统正在开始利用深度学习的优势,而不再仅仅依赖通用的AI。第二个领域,即ADAS、自主驾驶车辆,则更为复杂。这些系统使用摄像头、远程和短程雷达系统、激光雷达等来识别物体、评估情景,甚至行动预测人工智能对软件开发的影响
从软件角度来看,深度学习在编程和算法实现方面产生了重大的范式转变。 例如,在传统的计算机视觉中,设计人员往往会在行人检测应用中编写出一套程序来确定某个特定形状是不是人的形状。 该程序逐帧分析视频输入中的每幅图像,以确定该图像中是否包含人。 面向直方图的梯度(HOG)算法是在深度学习出现之前开发的一种物体检测技术,它通过分析图像中各个形状的边缘方向来确定具体的物体(图1)。![734fb3da-9321-eb11-8da9-e4434bdf6706.jpeg](http://p05.5ceimg.com/content/734fb3da-9321-eb11-8da9-e4434bdf6706.jpeg)
![744fb3da-9321-eb11-8da9-e4434bdf6706.jpeg](http://p03.5ceimg.com/content/744fb3da-9321-eb11-8da9-e4434bdf6706.jpeg)
卷积神经网络用于自动紧急制动
卷积神经网络(CNN)是一种特定类型的DNN,其已经成为图像识别领域的最先进技术。CNN逐帧处理视频输入中的每幅图像。采用CNN时,将借助于一个过滤器对每幅图像进行卷积,从而生成中间特征图。这个过程在多个层次上重复进行,以提取低级特征、中级特征和高级特征,供自动紧急制动(AEB)系统中的行人检测等应用来使用(图3)。![764fb3da-9321-eb11-8da9-e4434bdf6706.jpeg](http://p02.5ceimg.com/content/764fb3da-9321-eb11-8da9-e4434bdf6706.jpeg)
训练和部署CNN
AI应用的编程体验已经不同于传统的计算机编程,因为现在有两个阶段(图4)。第一阶段是训练,即对网络进行训练以识别物体。第二阶段是推理或部署,这包括在嵌入式环境中(即在汽车中)运行的硬件。训练阶段通常在具有一个或多个GPU的云数 据中心内完成,而推理阶段在最终产品中进行。![784fb3da-9321-eb11-8da9-e4434bdf6706.jpeg](http://p02.5ceimg.com/content/784fb3da-9321-eb11-8da9-e4434bdf6706.jpeg)
人工智能与硬件开发
训练过程的输出是一个32位浮点数。对于汽车推理实施而言,设计人员正在寻找最小、最精确的硬件,因为功能安全性和功耗都是挑战。与面积和功耗相比,理解位分辨率能够让设计人员创造出尽可能小的硬件。在过去的几年中,已经开发出一些硬件与这些新型神经网络算法相结合,以创建出具有嵌入式CNN功能的小型、快速、低功耗的芯片。 嵌入式视觉处理器,例如搭载紧密集成CNN的DesignWare EV6x嵌入式视觉处理器(图5),使设计人员能够在满足性能、功耗和面积要求的同时扩展其设计。标量和矢量单元执行预处理和后处理,而CNN引擎管理深度学习任务。当然,软件对于高效地为这些功能进行编程也是至关重要的。![794fb3da-9321-eb11-8da9-e4434bdf6706.jpeg](http://p05.5ceimg.com/content/794fb3da-9321-eb11-8da9-e4434bdf6706.jpeg)
神经网络是硬件开发人员的移动目标
当然,使用AI技术进行硬件设计所面临的挑战之一是,这是一个动态的目标。神经网络在不断变化之中,分类网络已经从AlexNet发展到GoogLeNet,再到ResNet,等等。物体识别、分类和定位的结合,以期不但识别出物体是什么,还要识别出物体在什么地方,这带来了另一层复杂性,进一步提升了对计算的要求。这也是一类快速发展的神经网络,先是Regional CNN(RCNN)让位于Fast RCNN,后者又让位于Faster RCNN,现在进一步让位于SSD和YOLO变体。让这些计算挑战更为复杂的事情是,汽车内的摄像头和分辨率也在发生变化。目前的汽车搭载100万或200万像素的摄像头,设备制造商正在推出300万或400万像素的摄像头,而800万像素的摄像头也即将实现。这么高的分辨率能够带来更好的可见性,但也促使设计人员集成更大的处理能力。只要能够把延迟保持较低程度,比如将帧率从目前的15-30fps升级到即将到来的60 fps,即可以实现更短的停车距离。 分辨率和帧率的提高意味着,几年前,提供具备64个乘-累加器的神经网络就足够了,但很快,该要求已经变为800-100MAC了。目前,设计人员正在规划具有低功耗预算的50 TeraMAC/s性能,以处理多个摄像头。 为了帮助设计人员解决这些快速变化的需求,新思科技提供了DesignWare EV6x嵌入式视觉处理器,其中包括一套专用的神经网络引擎以及多个视觉内核,还包括了MetaWare EV 工具包。由传统计算、神经网络引擎和软件构成的这一组合既能够让设计人员创建出用于驾驶员瞌睡检测的小面积芯片,也能够让他们创建出用于自主驾驶的快速、安全关键性芯片。DesignWare解决方案在设计上能够根据各种规模的应用进行扩展,但采用了相同的基本硬件和软件构建模块。![7a4fb3da-9321-eb11-8da9-e4434bdf6706.jpeg](http://p04.5ceimg.com/content/7a4fb3da-9321-eb11-8da9-e4434bdf6706.jpeg)
符合功能安全性标准
人工智能和神经网络正在改进ADAS应用并能够支持自主驾驶车辆。然而,如果公众对相关系统的安全性没有强烈信心的话,公众就不会接受这些自主驾驶车辆。汽车行业要求车辆系统能够正确运行以避免发生危险情况,并且还应当证明它们能够检测和管理故障。这些要求由ISO 26262功能安全性标准及其定义的汽车安全完整性等级(ASIL)进行管理。![7c4fb3da-9321-eb11-8da9-e4434bdf6706.jpeg](http://p01.5ceimg.com/content/7c4fb3da-9321-eb11-8da9-e4434bdf6706.jpeg)
总结
汽车系统设计人员已经在使用传统的嵌入式视觉算法。车辆自主性的关键推动力之一将是人工智能技术的应用,特别是那些基于深度学习算法、在诸如嵌入式视觉等多层CNN上实施的技术。这些算法在车辆自主驾驶所必需的物体识别、分割和分类等任务中显示出很好的前景。 AI与汽车系统的整合正在改变软件和硬件工程师设计系统的方式,因为它们能够满足更高水平的性能、功耗、面积和功能安全性要求。如果与新思科技在提供面向ASIL的IP方面拥有成功记录的IP供应商合作,将有助于系统架构师的产品在市场上更快取得成功。![7d4fb3da-9321-eb11-8da9-e4434bdf6706.gif](http://p03.5ceimg.com/content/7d4fb3da-9321-eb11-8da9-e4434bdf6706.gif)
(来源:Synopsys)