[1] DCFNet: Deep Neural Network with Decomposed Convolutional Filters
Qiang Qiu, Xiuyuan Cheng, Robert Calderbank, Guillermo Sapiro
Duke University
http://proceedings.mlr.press/v80/qiu18a/qiu18a.pdf
这篇论文将卷积神经网络中的卷积滤波分解成预先固定基的截断式展开,即分解卷积滤波网络,这里的展开系数从数据中学习得到。这种结构不仅可以减少需要训练的参数,而且可以减少计算量,还可以利用基截断来实现滤波约束。DCFNet可以在保证准确率的前提下明显缩减模型参数,尤其利用Fourier-Bessel基时,甚至利用随机基也可以。DCFNet的表示随输入的变换具有一定的稳定性,并且对展开系数加以一般性假设时的表示稳定性可以得以证明。
DCFNet的卷积层示例如下
不同数据集的结果对比如下
CNN与DCFNet结构对比如下
不同网络的效果对比如下
代码地址
https://github.com/xycheng/DCFNet
我是分割线
[2] StrassenNets: Deep Learning with a Multiplication Budget
Michael Tschannen, Aran Khanna, Anima Anandkumar
ETH Zürich, Amazon AI, Caltech
http://proceedings.mlr.press/v80/tschannen18a/tschannen18a.pdf
这篇论文在DNN层中进行端到端的学习,对矩阵成绩进行低成本的近似,将矩阵乘积映射为两层的和