基于FPGA的VGG16卷积神经网络加速器--WL

VGG16是一个典型的卷积神经网络，由13层卷积层，5层池化层和3层全连接层组成。且卷积层的计算时间在整个计算过程中占比极大，通过FPGA的并行运算可以有效的加快卷积层的计算速度。

一个卷积层可以有若干个卷积核，以第一层为例，该层对应的卷积核为64个3×3×3的卷积核，3×3是卷积核的尺寸，相当于将1个卷积核也按照RGB 分成3份(卷积核的通道数=输入图片的通道数)，对其进行卷积也就是乘加运算。

以尺寸为7×7的3通道图片与2个3×3的3通道卷积核为例

采用SoPC(ARM+FPGA)，通过C语言将数据放置在片外SDRAM中，并向硬件中的卷积状态机传输地址，通道数，卷积核数等参数和一个卷积使能信号。通过FPGA来进行卷积运算。

第一层的数据在SDRAM中的排列顺序如下：

硬件架构如下图，卷积状态机conv_state控制全部的计算过程，当PE单元完成1次计算并输出后，状态机控制DMA加载数据继续计算，直至全部完成。