深度学习中的Batch Normalization

最新推荐文章于 2024-05-10 09:44:27 发布

Mingming_Buaa

最新推荐文章于 2024-05-10 09:44:27 发布

阅读量566

点赞数 1

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Mingming_Buaa/article/details/79219907

版权

Batch Normalization
假设我们有两组training data： $x^1=[1,2,3,\cdots]$ $,x^2=[100,200,300,\cdots]$
当我们利用这组数据进行机器学习的时候，会发现对于第一笔数据 $x^1$ ，它的梯度会比第二笔数据 $x^2$ 的梯度要小得多，这时候的训练的收敛过程大致可以由下图表现出来。
这里写图片描述
两个权重跨度范围不一样，如果使用相同的学习率，则在 $w_1$ 的学习过程会非常慢，可能 $w_2$ 都收敛了，而 $w_1$ 还没有完成学习过程。
那如果我们对输入进行调整，使它们的分布大致相同的话，它们的收敛速度就会变得一致，收敛过程大概如下图：

最低0.47元/天解锁文章

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
深度学习中的Batch Normalization

Batch Normalization 假设我们有两组training data：x1=[1,2,3,⋯]" role="presentation">x1=[1,2,3,⋯]x1=[1,2,3,⋯]x^1=[1,2,3,\cdots],x2=[100,200,300,⋯]" role="presentation">,x2=[100,200,300,⋯],x2=[100
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。