一篇讲利用ReLU输出的稀疏性来加速卷积计算的论文,其目的和另一篇文章《More is less》 有点类似。
实验效果似乎还不错,但似乎并没有很大的创新。
文章链接: 《Speeding up Convolutional Neural Networks By Exploiting the Sparsity of Rectifier Units》
Motivation
下图的结论是:使用ReLU作为激活函数的网络,其网络输出通常都非常稀疏。
另一方面,目前的稀疏矩阵运算效率并不高。
一篇讲利用ReLU输出的稀疏性来加速卷积计算的论文,其目的和另一篇文章《More is less》 有点类似。
实验效果似乎还不错,但似乎并没有很大的创新。
文章链接: 《Speeding up Convolutional Neural Networks By Exploiting the Sparsity of Rectifier Units》
下图的结论是:使用ReLU作为激活函数的网络,其网络输出通常都非常稀疏。
另一方面,目前的稀疏矩阵运算效率并不高。