批标准正则化
简介: 一般我们只在输入数据传到神经网络前进行一次标准化,而批标准正则化是在网络的每一次变换之后都应该考虑数据标准化。
优点:
批标准化解决的问题是梯度消失与梯度爆炸
批标准化是一种训练优化方法
优点:
具有正则化的效果
提高模型的泛化能力
允许更高的学习速率从而加速收敛
简介: 一般我们只在输入数据传到神经网络前进行一次标准化,而批标准正则化是在网络的每一次变换之后都应该考虑数据标准化。
优点:
批标准化解决的问题是梯度消失与梯度爆炸
批标准化是一种训练优化方法
优点:
具有正则化的效果
提高模型的泛化能力
允许更高的学习速率从而加速收敛