训练网络的技巧
数据增强,批量归一化,正则化,学习率调整,参数初始化,预训练,权重共享,模型集成
正则化作用
防止网络过拟合
常用正则化方法
L1, L2,最大范式约束max num constrains, dropout
注意,对数据的操作,比如数据增强,本质也是对模型施加隐式的正则化
数据增强,批量归一化,正则化,学习率调整,参数初始化,预训练,权重共享,模型集成
防止网络过拟合
L1, L2,最大范式约束max num constrains, dropout
注意,对数据的操作,比如数据增强,本质也是对模型施加隐式的正则化