深度学习时,对数据归一化的作用?

深度学习训练中,数据接近正态分布可提升训练效果。数据标准化是将特征转化为N(0,1)的正态分布,有助于加速学习并避免因特征值差异大导致的学习速度减慢。BatchNormalization是一种在神经网络中进行的归一化技术,能防止梯度消失,增强层间独立性。
摘要由CSDN通过智能技术生成

当我们进行深度学习训练时,往往希望数据越接近正态分布越好,这样训练效果就会明显提升。
事实上,我们正在谈论数据标准化。 这是一种特征处理方法,使所有标准化特征满足N(0, 1)的标准正态分布。
例如 如果你的一个特征是10000,一个特征是0.2,当这两个输入到任何学习模型中时,学习速度都会很慢。 如果两个特征之一为0.1,另一个为0.3,学习速度就会加快。
对于数据本身来说,没有强制要求必须满足正态分布的条件,除非是非正常分布。 但为了加速融合进程,可以采用标准化。
有一种深度神经网络学习Batch Normalization,它对每一层的数据进行归一化。 这也是为了避免梯度消失,使每一层更加独立,不受前一层的影响。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LRJ-jonas

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值