Alexnet中的LRN

最新推荐文章于 2022-10-27 13:17:39 发布

颐水风华

最新推荐文章于 2022-10-27 13:17:39 发布

阅读量1.5k

点赞数

分类专栏：深度零散知识点

原文链接：https://www.jianshu.com/p/3ddc4bf1d400

版权

深度零散知识点专栏收录该内容

29 篇文章 6 订阅

订阅专栏

LRN全称为Local Response Normalization，即局部响应归一化层，LRN函数类似Dropout，是一种防止过拟合的方法。这个函数很少使用，基本上被类似Dropout这样的方法取代，见最早的出处AlexNet论文对它的定义, 《ImageNet Classification with Deep ConvolutionalNeural Networks》。

$b_{x,y}^{i} = \frac{a_{x,y}^{i}}{(k+\boldsymbol{\alpha }\sum_{j=max(0,i-n/2)}^{min(N-1,i+n/2)} (a_{x,y}^{i})^{2})^{\beta}}$

$b_{x,y}^{i}$ 是归一化后的值，i是通道的位置，代表更新第几个通道的值，x与y代表待更新像素的位置。

$a_{x,y}^{i}$ 是输入值，是激活函数Relu的输出值。

$k, \alpha , \beta, n/2$ 都是自定义系数。

N是总的通道数。

累加多少个通道的像素值取决于自定义系数 n/2 。

比如要计算红框位置的 $b_{x,y}^{i}$ ，累加效果如图所示：

关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
Alexnet中的LRN

LRN全称为Local Response Normalization，即局部响应归一化层，LRN函数类似Dropout，是一种防止过拟合的方法。这个函数很少使用，基本上被类似Dropout这样的方法取代，见最早的出处AlexNet论文对它的定义, 《ImageNet Classification with Deep ConvolutionalNeural Networks》。是归一化后...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。