pythonopencv包调用yolo gpu加速_【干货分享】硬件加速介绍及Cyborg项目代码分析

· 硬件加速的引入 ·

5G网络高可靠、低延时、大流量的特征以及边缘计算业务(包括机器学习、人工智能、无人驾驶、工业仿真等)兴起对未来网络计算和转发能力提出更高要求。通用CPU已不能满足海量计算、数据、图片的处理需求，越来越多的场景引入GPU、FPGA等硬件进行加速，异构计算应运而生。

异构计算能够充分发挥CPU/GPU在通用计算上的灵活性，及时响应数据处理需求，搭配上FPGA/ASIC等特殊能力，来充分发挥协处理器的效能，根据特定需求合理地分配计算资源。在处理速度和功耗之间找到平衡，达到高效又省电的效果。

图 1‑1  异构计算

2 、行业现状

所有的尖端应用都需要加速应用。对于计算加速、存储加速、图像加速需求也很明显。 微软的Azure历经三代FPGA架构，除提供网络和存储虚拟化加速，还可用于加速 Bing 搜索、深度神经网络(DNN)等计算任务。在MICRO'16 会议上，微软提出了Hardware as a Service (HaaS) 的概念，即把硬件作为一种可调度的云服务，使得 FPGA 服务的集中调度、管理和大规模部署成为可能。

图2‑1  Azure的FPGA架构^[1]

亚马逊AWS云AWS在16年就推出了EC2实例F1，这种EC2实例是具有现场可编程门阵列 (FPGA) 的计算实例。可以进行编程，为应用程序创建自定义硬件加速。 ^[2] 阿里云异构计算加速引擎涵盖GPU、FPGA在内等多款异构实例，可满足从图形渲染到高性能计算及人工智能等复杂应用的计算需求。特别是在人工智能领域，可将深度学习成本缩减一半，大幅降低人工智能计算门槛；而基于阿里云异构平台的全新高性能计算实例E-HPC，可一键部署获得媲美大型超算集群环境的“云上超算中心”。 ^[3]

图2‑2  阿里云的异构实例^[4]

英特尔最新推出的AI平台，就包含了CPU、GPU、DSP、NNP、FPGA等一系列不同的处理核心。英伟达的机器人平台Jetson Xavier也包含了6种处理器，GPU/CPU/NPU/NVDLA等。智能手机也开始在传统的CPU/GPU/ISP/基带芯片之外，加入了加速DSP、图形处理单元NPU等。 

针对不同的场景，硬件加速器的选择也不一样。目前市场上流行的加速芯片有多种选择。加速芯片嵌入网卡形成智能网卡是目前加速卡的主流形式。其中 FPGA当前产业较为成熟，且可现场编程灵活性高；NP和SoC性价比较高，但产业成熟度有待提高；GPU主要优势为图片复杂算法处理。 ^[5]

图2‑3  加速器的选择

<