深度学习理论——感受野的计算&防过拟合总结

大家好，继续理论学习，今天是总结的一天，没有推导！开心！

1.感受野

感受野简单来说就是最后输出的一个像素映射到原图包含了原图多少像素的信息。

有一个简单的公式可以从top到down的推算出感受野！

感受野 = （后一层感受野 - 1） * stride +kenel_size

其中，stride为卷积步长，kenel_size为卷积核尺寸，padding不影响感受野。

2.防过拟合总结

(1)正则化——减少网络复杂度

(2)池化——关注特征存不存在而不是特征的具体位置，给特征检测增加了自由度

(3)dropout——网络节点随机失活，增加灵活性

(4)集成学习——综合多个网络的学习结果，减少数据对某一网络的依赖

(5)早停——分训练集和验证集，关注验证集上的检测精度，如果变大就停止训练

(6)batch nomalization——改变输出但没经过非线性激活之前数据的分布，使其更靠近0均值1方差的分布，能够在激活函数中得到更好的相应，更大的梯度，更快的收敛。

 

后面想到会再补充的，我们下期见！