笔记：Deep fried convnets

这是ICCV15的一篇文章。文章用kernel approximation的fastfood方法，来对CNN中的全连接层进行替换，从而减少CNN中参数的个数，减少内存的消耗。调整后的网络结构在文章中用下图表示：

总体而言，Fastfood是通过一系列简单矩阵的乘法来代替大而幂的矩阵与向量的乘积，从而减少时间和空间上的代价，这一点两篇文章没有区别。不同之处在于，在文章Fastfood-approximation kernel expansions In loglinear time中，简单矩阵通过一些规则来一次性的生成，后面不会再进行调整。而文章中的fastfood层是自适应的，通过反向传播对生成的矩阵进行调整，多了一个学习的过程。所以文章的算法主要分为两个主旨：
1）用fastfood层替换原来CNN中的全连接层；
2）通过反向传播对fastfood层进行调整。
具体而言，可以从下面几步对本文的算法进行理解：
1）fastfood：Hadamard和高斯对角阵结合后可以表现出与非稀疏的高斯随机矩阵相似的性质，相比后者，hadamard矩阵以及高斯对角阵在存储与计算的代价方面都更加小。基于这点，在对kernel进行估计的random