网络压缩

CirCNN: Accelerating and Compressing Deep Neural Networks Using Block-Circulant Weight Matrices

本文主要使用的是块循环矩阵的特殊性来压缩网络结构。因为在深度神经网络中，主要包含卷积，池化，全连接层等，在这些操作中，主要是与 fliter相乘，本文则使用循环矩阵的方式替换这种乘法，用来加速和压缩网络。

核心：利用循环块矩阵替代矩阵的乘法。

循环矩阵提出证明了循环矩阵就等价与傅立叶变换的结果。可以参考https://blog.csdn.net/u013288466/article/details/53575692。

而卷积网络计算时大量的工作量都是用在矩阵的乘法上，为了加速乘法的运算，使用傅立叶变换替换。如果只是从完全替换的话，快速傅立叶变换并没有比循环矩阵的快。但是作者考虑整个循环矩阵的替换过程包括 傅立叶变换，矩阵点乘，反傅立叶变换三个方面，第一步操作在存储数据结构时就可以使用，只需要执行后面两步骤。那么运算过程将得到加速。

而具体对全连接层和卷积层变换如下

1.全连接层

将全连接的权值矩阵设成块循环矩阵，利用块循环矩阵的特点，用傅立叶变换替换块循环矩阵的乘法。具体如图所示，训练的时候就将全连接层的参数矩阵视作块矩阵的结果进行训练，每个块矩阵的乘法，可以用快速傅立叶变换替代。

2.卷积层

在设计卷积核时将每个卷积核设置成块矩阵。然后通过转换将卷积层的输出转换成二维矩阵的结构，将卷积核组成块矩阵的方式，这样就与全连接层一样的乘法相似，可以对卷积的运算进行加速。

暂时写到这里。如果有错误请指出。后面会继续更新。谢谢。