深度学习：局部响应值归一化（Local Response Normalization，LRN）

最新推荐文章于 2024-04-25 10:57:19 发布
最新推荐文章于 2024-04-25 10:57:19 发布
阅读量988 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SilenceDXY/article/details/88972947
版权

局部响应归一化
Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。
LRN一般是在激活、池化函数后的一种方法。
在ALexNet中，提出了LRN层，对局部神经元的活动创建竞争机制，LRN仿造生物学上活跃的神经元对相邻神经元的抑制现象（侧抑制）。

Hinton在2012年的Alexnet网络中给出其具体的计算公式如下：

在这里插入图片描述
公式看上去比较复杂，但理解起来非常简单。i表示第i个核在位置（x,y）运用激活函数ReLU后的输出，n是同一位置上临近的kernal map的数目，N是kernal的总数。参数K,n,alpha，belta都是超参数，一般设置k=2,n=5,aloha=1*e-4,beta=0.75。

AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。

（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。

最低0.47元/天 解锁文章
默语之声
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于多尺度卷积神经网络的人脸润饰检测算法
05-06
在第一个池化层后连接局部归一化（Local Response Normalization，LRN）层，加速模型的收敛；提出了多尺度卷积层，将大小为1×1，3×3和5×5的卷积核进行级联，提高模型分类效果.实验结果表明，本文算法的检测精度在...
【深度学习技术】LRN 局部响应归一化
谢军的博客
04-24 4万+
LRN(Local Response Normalization） 局部响应归一化笔记本笔记记录学习 LRN(Local Response Normalization），欢迎学习交流。侧抑制（lateral inhibition）计算公式Hinton在2012年的Alexnet网络中给出其具体的计算公式如下：公式看上去比较复杂，但理解起来非常简单。i表示第i个核在位置（x,y）运用激活函数ReLU后
局部响应归一化（Local Response Normalization，LRN）和批量归一化（Batch Normalization，BN）的区别
CCC的专栏
02-09 3120
为什么要归一化？ 归一化已成为深度神经网络中的一个重要步骤，它可以弥补ReLU、ELU等激活函数无界性的问题。有了这些激活函数，输出层就不会被限制在一个有限的范围内(比如tanh的[−1,1][-1,1][−1,1])，而是可以根据训练需要尽可能高地增长。为了限制无界激活函数使其不增加输出层的值，需要在激活函数之前进行归一化。在深度神经网络中有两种常用的归一化技术，但常被初学者所误解。在本教程中，...
深度探索：机器学习中的局部响应归一化（Local Response Normalization, LRN）算法原理及其应用
qq_51320133的博客
04-25 967
局部响应归一化作为早期深度学习中的一个重要技术，尽管在一些新型网络结构中的使用频率有所下降，但它所体现的局部竞争机制及其对生物视觉系统的模拟仍然具有重要的理论价值和启发意义。随着深度学习技术的发展，未来的研究有可能将LRN的思想与更先进的归一化技术相结合，设计出更加高效、鲁棒的神经网络模型。
深度学习饱受争议的局部响应归一化(LRN)详解
MIss-Y的博客
03-26 3万+
前言：Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。通过实验确实证明它可以提高模型的泛化能力，但是提升的很少，以至于后面不再使用，甚至有...
局部响应归一化LRN（Local Response Normalization）
吃葡萄不吐葡萄皮
07-18 1598
LRN主要用于激活函数后的归一化过程，它对局部神经元响应进行归一化，使得响应较大的神经元抑制响应较小的神经元，从而增强模型的泛化性能。LRN的使用地方主要是在深度学习的卷积神经网络中，特别是一些经典的网络结构中，如AlexNet和GoogLeNet等。在这些网络中，LRN被用于增强网络的泛化性能和对变化的适应性。LRN的作用是增强模型的鲁棒性和泛化能力，它可以在一定程度上抑制较大的激活值，增强模型对光照、对比度等变化的适应性。是可调节的超参数，用于控制归一化的程度。表示特征图的通道数，
AlexNet_alexnet_pytorch神经网络_深度学习；pytorch；AlexNet_
10-01
4. **局部响应归一化**：AlexNet引入了局部响应归一化（Local Response Normalization, LRN），这有助于在深度网络中进行特征竞争，但现代的深度学习模型中已较少使用。 5. **GPU并行计算**：AlexNet是首个广泛使用...
改进Softmax分类器的深度卷积神经网络及其在人脸识别中的应用.pdf
09-26
4. 局部响应归一化（Local Response Normalization，LRN）：一种用于神经网络中的归一化方法，避免了神经元之间的相互影响，提高了网络的稳定性。 5. 人脸识别（Face Recognition）：一种生物识别技术，通过分析...
(2 条消息) 深度学习caffe的代码怎么读？ - 知乎1
08-03
归一化层（Normalization Layers）**：如LRN（Local Response Normalization）和BatchNorm。 **4. 内部连接层（Inner Product Layers）**：相当于全连接层，用于在神经网络的高层进行特征组合。 **5. 输出层...
利用Alexnet网络实现图像分类项目代码
最新发布
05-06
3. **归一化层**：在AlexNet中，使用了Local Response Normalization（LRN）层，这有助于抑制过强的局部响应，提高模型的泛化能力。不过在现代网络中，LRN已被其他正则化方法取代，如Batch Normalization。 4. **全...
LRN归一化
m0_69378371的博客
01-22 392
尽管LRN在一些早期的CNN模型（如AlexNet）中被证明有效，但在更现代的网络架构中，如ResNet和Inception网络，它已被其他归一化技术（如批量归一化Batch Normalization）所取代，这些新技术在实践中表现得更好。其中 \( n \) 是邻域大小，\( N \) 是总的通道数，\( K \)、\( \alpha \)、\( \beta \) 是超参数。4. **作用于特征图**：LRN通常作用于卷积层产生的特征图上，通过归一化处理，提高了模型对输入变化的鲁棒性。
【CNN基础】局部响应归一化、gated convolution和gated deconv
Kindle君的博客
03-07 1万+
1. Local response normalization（局部响应归一化） 局部响应归一化，由于做了平滑处理，可以增加泛化能力，公式如下 bx,yi=ax,yi/(bias+α∑j=max⁡(0,i−n/2)min⁡(N−1,i+n/2)(ax,yi)2)b_{x,y}^i = a_{x,y}^i/\left( {bias + \alpha \sum\limits_{j = \max (0...
深度学习的局部响应归一化LRN(Local Response Normalization)理解
热门推荐
yangdeshun888的博客
09-09 8万+
1、其中LRN就是局部响应归一化： 这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。         AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。 （1）成功使用R
LRN 局部响应归一化层（Local Response Normalization）
FY_2018的博客
09-01 1046
局部响应归一化层（Local Response Normalization） 局部响应归一化层简称LRN，是在深度学习中提高准确度的技术方法。一般是在激活、池化后进行的一中处理方法，因在Alexnet中运用到，故做一下整理。 为什么要引入LRN层？ 首先要引入一个神经生物学的概念：侧抑制（lateral inhibitio），即指被激活的神经元抑制相邻的神经元。归一化（normaliazation）的目的就是“抑制”,LRN就是借鉴这种侧抑制来实现局部抑制，尤其是我们使用RELU的时候，这种“侧抑制
DL4J中文文档/模型/层
bewithme的专栏
11-06 739
什么是层? 神经网络配置中的每一层表示隐藏单元的单元。当层堆叠在一起时，它们代表了一个深度神经网络。 使用层 在Eclipse DL4J中可用的所有层都可以用在多层网络或计算图中。当配置一个神经网络时，你传递层配置，网络会为你实例化该层。 层VS顶点 如果你正在配置诸如InceptionV4之类的复杂网络，则需要使用计算图API，并使用顶点将不同的分支连接在一起。检查顶点以获取更多信息。...
LRN ( Local Response Normalization) 局部响应归一化层
u014296502的专栏
12-19 1万+
LRN ( Local Response Normalization) 局部响应归一化层从网上找了很多博客，不知道为何就是不能把这个公式说的很透，可能是原理本身不好解释的原因，笔者希望能够用简洁的语言，能把LRN 解释的更加通俗易懂 首先在弄懂原理之前，希望读者能够认真的看两边公式，而不是直接看别人解释的原理 bix,yb^i_x,_y是归一化后的值，i是通道的位置，代表更新第几个通道的值，x与y代
深度神经网络中的局部响应归一化LRN简介及实现
网络资源是无限的
01-09 2402
Alex、Hinton等人在2012年的NIPS论文《ImageNet Classification with Deep Convolutional Neural Networks》中将LRN应用于深度神经网络中(AlexNet)。论文见：http://www.cs.toronto.edu/~hinton/absps/imagenet.pdf ，截图如下： 公式解释： ：ReLU处理后的神经元，作为LRN的输入； ：LRN的输出，LRN处理后的神经元； N：kernal总数或通道数； k、n、
使用python实现局部响应归一化
03-31
局部响应归一化（Local Response Normalization，LRN）是一种常用的神经网络正则化方法，其作用是对神经元的输出进行归一化，使得其对输入的微小变化不敏感，从而提高模型的泛化能力。下面是使用Python实现局部响应归一化的示例代码： ```python import numpy as np def local_response_normalization(x, alpha=1e-4, k=2, beta=0.75, n=5): # x为输入数据，alpha为参数，k为参数，beta为参数，n为参数 # 在这里，我们假设输入数据为一个四维张量，即(batch_size, height, width, channels) # 首先计算分母部分 square = np.square(x) scale = k for i in range(n//2): scale += alpha * square[:, :, :, i:i+1] for i in range(n//2, x.shape[-1]-n//2): scale += alpha * (square[:, :, :, i-n//2:i-n//2+1] + square[:, :, :, i+n//2:i+n//2+1]) for i in range(x.shape[-1]-n//2, x.shape[-1]): scale += alpha * square[:, :, :, i:i+1] # 计算最终的输出 return x / np.power(scale, beta) ``` 在这里，我们假设输入数据为一个四维张量，即(batch_size, height, width, channels)，其中： - alpha：一个超参数，控制归一化的强度。 - k：一个超参数，控制归一化的强度。 - beta：一个超参数，控制归一化的强度。 - n：一个超参数，控制归一化的局部范围大小。 实现中，我们先计算分母部分，然后计算最终的输出。其中，分母部分的计算需要分三种情况进行处理。最终的输出即为输入数据除以分母部分的结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值