网络知识点合集

什么是泛化能力？

是指机器学习算法对新鲜样本的适应能力。 学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。

个人理解为 学习了1+1=2，1+2=3，计算2+2=？的能力

泛化能力弱：1.数学题（训练集）做的多但是只会做旧题，做新题正确率不高（准确度低）过拟合 2.掌握不了规律，做过的题也会做错（训练集准确率也低）欠拟合 3. 练了那么多题还是什么都不会，全是蒙的 不收敛

衡量泛化能力可以通过不同测试集正确率来衡量

下采样的失真

下采样只是为了减小计算量和增大感受野，如果没有下采样，要成倍增大感受野，只有两个选择，空洞卷积和大卷积核。在文章 《CNN真的需要下采样（上采样）吗?》 中做了实验说明了下采样带来的准确率的降低，其确实会导致失真，下采样损失了分辨率，一定会损失精度。但在实际操作中下采样主要起到了减少计算参数，扩大感受野的作用，应用较多

感受野

只有大感受野才能感受到尺寸比较大的物体。感受野，深度和通道数，共同决定了cnn某一层的性能，一个衡量cnn性能的正确表述应该是网络在某一层有多大的深度和感受野，同时有多少通道。深度决定了网络的抽象能力或者说学习能力，感受野决定了网络某一层看到多大的范围，通道数决定了网络某一层的信息量，感受野和通道数可以共同表示网络某一层学习到的有效空间和语义信息。

小卷积核

vggnet首先发现5x5卷积可以用两个3x3卷积代替，极大减少了参数量，同样的7x7卷积可以用三个3x3卷积级联，9x9可以用四个3x3卷积级联。 空洞卷积网络在性能与较少参数上有一定的优势

池化层讨论

cnn的每一层卷积都在编码空间相关性，浅层特征编码短距离相关性，更深的卷积层编码更远距离的空间相关性，而到了某一层，再也没有统计意义上的空间相关性了（这取决于有意义的物体在图像中的尺寸），到这一层就可以用GAP聚合空间特征了。

1×1卷积核的作用

跨通道的特征整合，特征通道的升维和降维，减少卷积核参数（简化模型）。主要就是起到改变通道数的作用。

上采样的作用

在分割网络中起到恢复分辨率的作用

跨层链接

所有的跨层连接本质上都是在融合不同感受野的特征（这里待议，bottom-up应该是在融合分辨率，常用在输出侧，up-bottom应该是在融合来自不同感受野的特征，常用在特征提取侧，当没有了分辨率的变换，bottom-up就不再被需要了）。
如果没有了分辨率的变化，那么检测完全可以在网络深层的某个感受野处叉开成为三支，分别检测大中小物体，这个思想和tridentnet有类似之处

参考文献:https://zhuanlan.zhihu.com/p/94477174