为什么要归一化?

输出的神经元概率可能是1.8,2.8.。。。不方便比较
归一化之后得到0-1之间的数,便于使用和比较

归一化就是要把需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保证程序运行时收敛加快。归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布,归一化在某个区间上是统计的坐标分布。归一化有同一、统一和合一的意思。
引用

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
归一化(Batch Normalization)是一种在深度神经网络中常用的技术,它的主要目的是解决梯度消失和梯度爆炸的问题,同时还能加速网络的训练过程。 在深度神经网络中,随着网络层数的增加,输入数据在每一层的变化会逐渐放大或缩小,导致激活函数的输入值分布发生偏移。这种偏移会使得网络的学习变得困难,因为每一层的参数都需要重新适应新的输入分布。此外,由于每一层的参数都是通过反向传播算法进行更新的,梯度消失和梯度爆炸也会影响网络的训练效果。 批归一化通过对每一层的输入进行归一化处理,使得每一层的输入分布保持在一个较稳定的范围内。具体来说,它通过对每个小批量样本的均值和方差进行估计,然后对输入进行线性变换和平移操作,将输入数据重新映射到一个标准正态分布。这样做的好处是可以使得网络更容易学习到适应不同输入分布的参数,并且减少了梯度消失和梯度爆炸的问题。 批归一化的优点包括: 1. 提高网络的收敛速度:通过将输入数据归一化到一个标准分布,可以加速网络的训练过程,使得网络更快地收敛到最优解。 2. 减少梯度消失和梯度爆炸:通过控制每一层输入的范围,批归一化可以减少梯度消失和梯度爆炸的问题,使得网络更稳定地进行训练。 3. 提高模型的泛化能力:批归一化可以减少模型对输入数据分布的依赖,提高了模型的泛化能力,使得模型在测试集上的表现更好。 总之,批归一化是一种非常有效的技术,可以提高深度神经网络的性能和训练效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值