读书笔记-《CNN真的需要下采样（上采样）吗?》

原文链接

文章主题：讨论采样在神经网络中的重要性

文章逻辑：

1.下采样的必要

因为下采样是为了减小计算量和增大感受野，所以尝试用空洞卷积（Diluted Convolution）和大卷核来代替下采样。空洞卷积结果：发现准确率和使用同参数VGG的结果差不多。大卷积核结果：收敛方式更加震荡一点，但是结果精度差不多。下采样结果:准确率低于前两种。结论：下采样的确会损失信息。

2. 多个小卷积核代替大卷积核

尝试用多个小卷积核来得到与大卷积核相同的感受野，同时减少参数量。结果：空洞卷积网络依然以较小的参数领先于depthwise卷积和3x3卷积混合网络，并以数倍更少的参数优势，在精度上略低于3x3级联网络。结论：深度之外，感受野以及该感受野上的通道数，真正决定了网络的性能。

3. 稀疏化

常见稀疏化：通道维度的稀疏化，这相当于减少通道数。
作者认为的稀疏化：