用小卷积核替代大卷积核的优势主要有两个:小卷积核虽然感受野比大卷积核小,但是通过多次堆叠小卷积核同样可以实现大卷积核的感受野。使用小卷积核一方面可以减少参数量,最终减少整个模型的参数量;另一方面多次堆叠小卷积核可以增加网络的深度,从而使得网络的容量和复杂度提升。
同一层神经元对特征的响应部位不同,并且呈现“稀疏性”。
不同层的神经元对特征的提取呈现层次性,这种方式使得不同层的特征可以优势互补。从某种程度上而言,多层特征融合也是一种很直接且有效的网络集成技术,对于提高网络的精度通常有较好的表现。
局部响应规范化(LRN)可以降低模型的错误率。
摘选自《解析深度学习-卷积神经网络原理与视觉实践》魏秀参