神经网络学习技巧之网络正则化方法

神经网络中出现欠拟合、过拟合

深度神经网络易产生过拟合

– 深度网络含有大量的参数
– 实际中可用于网络训练的数据量小
• 如何避免过拟合？
– 获取更多的数据
– 使用复杂度合适的模型
– 不同模型求平均（类似于Bagging）

避免过拟合的网络正则化方法

• Dropout
• ℓ2范数正则化
• 数据增强(Data Augmentation)

#Dropout (丢弃，随机失活)

训练阶段：以概率𝑝随机移除网络中的神经元结点以及与之相连的所有输入和输出边
测试阶段: 所有神经元处于激活态，但用系数(1 − 𝑝) 减少激活值来补偿训练时丢弃的激活
或：
训练阶段：直接将dropout后的网络响应（activation）乘以 1/1−𝑝 ，在测试阶段不做调整。