《Hardware Accelerated Convolutional Neural Networks for Synthetic Vision Systems》笔记

《用于合成视觉系统的硬件加速卷积神经网络》

Abstract

在本文中，我们提出了一个可扩展的硬件架构，实现大规模的卷积神经网络以及最先进的多层人工视觉系统。这个系统是全数字化的，并且是一个模块化的视觉引擎，可以对目标进行实时检测、识别以及对一个巨型图像进行分割。我们对FPGA和ASIC进行了比较，显示了在定制硬件实现中的一种加速。

1 INTRODUCTION

微型机器人、无人机、成像传感器网络、无线手机以及其他嵌入式视觉系统都需要成本低，并且能够快速识别和分类在某个场景中的目标的合成视觉系统。几乎所有最近的合成视觉算法针对常见的识别问题都会使用一个或多个层的滤波器进行分等级的报告图像特征的位置、角度以及大小的一定程度的不变性。例如SIFT算法，哺乳动物视觉系统的仿生算法建模以及采用多层神经网络的深层体系结构。具有多层特征提取以及学习参数的合成视觉算法表现的非常好。当特定的目标是已知的先验时，学习提供显著的表现提升。卷积神经网络是一种可以嵌入到所有特征中的合成视觉结构。卷积神经网络是一种具有多层卷积滤波器以及非线性的前馈神经网络。

在这篇文章中，我们为基于大型并行滤波器组的大型多层合成视觉系统提出了一个可扩展的硬件架构。这个硬件也可以用于对最近的视觉算法，如SIFT、HMAX等进行加速。这个系统是一个数据流视觉引擎，可以在巨型像素图像作为流水线流的时候实时的进行检测、识别以及定位。这个系统的目的是对任意多目标进行分类而消耗却比台式机或笔记本低数十倍（低于10W）。

2 CONVOLUTIONAL NEURAL NETWORKS(卷积神经网络)

卷积神经网络是一种特殊类型的神经网络，利用数据在图像中的位置来减少处理大型图像所需的参数数量。图1是一个卷积神经网络的例子。

In this figure we report a network used for generic object recognition of N classes.例如一个网络已经可以成功的被用于在大量的应用程序中分辨不同的目标。

ConvNets作为前端合成视觉系统执行对象分类任务来说，有以下优点：首先，他们对局部区域进行卷积：在卷积矩阵上分享权重，这样大型的图片就可以减少处理量。这是非常重要的，因为网络中权重的数量不成正比的输入图像。其次，空间采样/池是用来在非线性计算的每一步分层减少输入数据的大小。从一个大的输入中提取基本元素，复制一个小的、局部的可接受区域，而对结果进行下采样降低了失真和规模大小的影响。结合这些特征产生了更高次序的特征，这会有更高的转变、尺度以及畸变不变性，这就是一个高等级的哺乳动物视觉系统的典型特征。

CNN一个重要的方面是，所有需要的参数都可以从将要建模的数据中获得。例如在图一所示，通过在标记的数据集中采用随机梯度下降发，可以同时学到所有来自滤波器组、池化功能以及来自分类器的权重。相比于手绘特征提取器来说，ConvNets更加紧凑，更加适合于一般用途的识别任务。

3 SYSTEM IMPLEMENTATION（系统实施）

关于可伸缩卷积神经网络的全数字编码的硬件实现已经开发并实现。一些小的版本已经被实施，然而以前并无法扩展。我们相信，FPGA目前和ASIC技术的全数字实现是获得软件兼容的对象识别网络的最简单的方法，易于安装和操作，以降低功耗和提供较高的数值精度。整个系统是由HDL语言编写的，并且针对ASIC或者FPGA进行合成。这个设计是一个自定义的单指令多数据流（SIMD）基于硬件加速的32位CP处理器去定制卷积神经网络的操作。这是操作是高度优化的，并且利用了硬件的并行化。

我们的第一次实施是在Xilinx Virtex-4 SX35 FPGA板上，这是一个外接了QDR-SRAM内存