本文主要是本人本科毕业设计的主要工作。
主要工作有两部分,一是实现二值卷积神经网络模型,二是将模型的前向计算部署到FPGA上。也就是说FPGA负责的是神经网络的前向计算过程,也就是预测的过程,训练还是通过CPU。
二值卷积神经网络是参考复现XNOR-Net,训练集就采取了最简单的mnist,实现方法是采用的pytorch,HLS中的前向计算是通过C++编写的,也就是说用python实现了一遍网络训练,又用C++重写了一遍前向计算。这里用pytorch框架将模型训练好之后,将模型参数提取出来,保存为文本或者二进制,再用HLS通过文件读写的方法读取参数从而实现前向计算。
模型有两层卷积和两层全连接,因为是二值网络,第二层卷积核和第一层全连接是二值化的参数。
主要的问题有两点,1是如何加速卷积,2是如何加速全连接。
1.卷积加速
卷积的加速分为4个层面,位宽加速、算法加速、HLS优化指令加速、访存加速。
位宽的加速就是放低精度,其实也就是二值化的主要原因,将参数二值化之后大大降低了参数量,也是所有加速中贡献最大的加速。参数的二值化是我们在训练的时候就将前向计算的参数二值化,同时保留参数的缩放因子,利用二值化后的参数求解梯度,更新的却是全精度的参