在AlexNet中LRN 局部响应归一化的理解

最新推荐文章于 2024-04-25 10:57:19 发布
最新推荐文章于 2024-04-25 10:57:19 发布
阅读量1.8w 收藏 74
点赞数 26
分类专栏： 深度学习 深度学习 文章标签： 深度学习 AlexNet LRN 局部响应 归一化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/program_developer/article/details/79430119
版权
LRN（局部响应归一化）是深度学习中提高模型准确性的技术，首次在AlexNet模型中使用。该技术通过抑制部分神经元，增强模型的泛化能力。LRN的计算公式涉及对卷积层输出的通道方向上的点进行加权平方和，然后归一化。在AlexNet中，LRN与ReLU激活函数、Dropout和最大池化共同作用，提升网络性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

微信公众号

一、LRN技术介绍：

Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。

AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。

（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。

（2）训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将其实用化，通过实践证实了它的效果。在AlexNet中主要是最后几

最低0.47元/天 解锁文章
AlexNet中Local Response Normalization（局部响应归一化）个人理解
o707191418的博客
11-19 1793
首先论文中已经有了公式的介绍，但是刚看的时候会觉得有些懵，先看看LRN的定义： 第一眼看上去公式好像很复杂，我一开始也这么觉得。。。后来细看了两边之后发现好像跟某种公式有着差不多的结构，具体什么公式也不记得了，就觉得很像，然后比较好理解了，总之大概意思就是求某一个值在整体值中的占比。 bi=ai/∑inai2 b_{i} = a_{i}/\sqrt {\sum^n_{i} a_{i}^2}bi​...
实现篇：LRU算法的几种实现
最新发布
独立开发，个人小站：ai-bar.cn，网站中还有最近开发得一个写作软件（竹记），欢迎体验交流
04-27 1284
LRU（Least Recently Used，最近最少使用）是一种缓存淘汰策略，核心思想是优先淘汰最久未被访问的数据，适用于有限容量的缓存场景。其运作逻辑基于时间局部性原理，即最近被访问的数据很可能在短期内再次被访问。
深度学习的局部响应归一化LRN(Local Response Normalization)理解
热门推荐
yangdeshun888的博客
09-09 8万+
1、其中LRN就是局部响应归一化： 这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。         AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。 （1）成功使用R
LRN（局部响应归一化）
AI.PLAY
10-16 2695
原理： LRN层模仿了生物神经系统的“侧抑制”机制，对局部神经元的活动创建竞争环境，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强模型的泛化能力。 LRN对于ReLU这种没有上限边界的激活函数会比较有用，因为它会从附近的多个卷积核的响应中挑选比较大的反馈，但不适合Sigmoid之中有固定边界并且能抑制过大值的激活函数。 是归一化后的值。 表示第i个核位置（x，y）运用ReL...
深度探索：机器学习中的局部响应归一化（Local Response Normalization, LRN）算法原理及其应用
qq_51320133的博客
04-25 1966
局部响应归一化作为早期深度学习中的一个重要技术，尽管在一些新型网络结构中的使用频率有所下降，但它所体现的局部竞争机制及其对生物视觉系统的模拟仍然具有重要的理论价值和启发意义。随着深度学习技术的发展，未来的研究有可能将LRN的思想与更先进的归一化技术相结合，设计出更加高效、鲁棒的神经网络模型。
局部响应归一化LRN (Local Response Normalization)
06-12 8384
一、LRN技术介绍： LRN（Local Response Normalization） 是一种提高深度学习准确度的技术方法。 LRN 一般是在激活、 池化函数后的一种方法。在 ALexNet 中， 提出了 LRN 层， 对局部神经元的活动创建竞争机制， 使其中响应比较大对值变得相对更大， 并抑制其他反馈较小的神经元， 增强了模型的泛化能力。 AlexNet将LeNet的思想发扬光大，把CN...
AlexNet中的局部响应归一化（LRN）
qq_43660987的博客
06-29 2231
1，简介 局部响应归一化（Local Response Normalization，LRN），提出于2012年的AlexNet中。首先要引入一个神经生物学的概念：侧抑制（lateral inhibitio），即指被激活的神经元抑制相邻的神经元。LRN仿造生物学上活跃的神经元对相邻神经元的抑制现象（侧抑制）。归一化（normaliazation）的目的就是“抑制”,LRN就是借鉴这种侧抑制来实现局部...
学习AlexNet中的LRN（局部响应归一化）功能及实际应用
# 1.1 传统的LRN方法介绍 局部响应归一化（LRN）作为一种规范化方法，旨在增强神经网络的泛化能力。其基本原理在于对每个神经元的输出进行归一化处理，使得更加...局部响应归一化（LRN）是一种神经网络中常用的规范
FPGA实现Alexnet局部响应归一化：低功耗与高效并行
"基于FPGA的Alexnet局部响应归一化函数实现" 在计算机视觉和深度学习领域，Alexnet是一个里程碑式的神经网络模型，由Alex Krizhevsky等人在2012年的ImageNet Large Scale Visual Recognition Challenge (ILSVRC)中...
LRN (Local Response Normalization，即局部响应归一化层)
Learning by doing
02-02 1万+
LRN (Local Response Normalization，即局部响应归一化层) （一）先看看归一化吧 什么是归一化？ 归一化化是归纳统一样本的统计分布性。就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。 为什么要归一化，归一化目的是什么？ （1）为了后面数据处理的方便，归一化的确可以避免一些不必要的数值问题。 （2）为了
局部响应归一化（Local Response Normalization）
10-25 2259
LRN是一种提高深度学习准确度的技术方法。LRN一般是在激活、池化函数后的一种方法。  在ALexNet中，提出了LRN层，对局部神经元的活动创建竞争机制，使其中响应比较大对值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。 在2012的Alexnet网络中具体计算公式如下： 其中，i表示第i个神经元在位置(x, y)使用激活函数ReLU后的输出，n是同一位置上临近的kerna...
局部响应归一化（LRN）
realjc的博客
08-05 336
tensorflow中的定义： 就是按通道归一化。 例子： import numpy as np import tensorflow as tf a = np.ones([2,3,3, 5])## batch_size,row,col,channel b = tf.nn.local_response_normalization(a, 1, 0, 1, 1)## radius, bias, alpha,beta sess = tf.Session() print (sess.run(b)) 输出：
局部响应归一化LRN(Local Response Normalization)
yleave的博客
12-16 385
LRN一般是在激活、池化后进行的一中处理方法。 其主要思想是：对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。 更加详细可看：https://blog.csdn.net/hduxiejun/article/details/70570086 在 AlexNet 的论文中有提到 LRN： 其中，a 表示卷积层（包括卷积操作和池...
【深度学习】局部响应归一化 (Local Response Normalization，LRN)
JNing
01-31 3937
【深度学习】局部响应归一化 (Local Response Normalization，LRN)
LRN局部响应归一化
zrh_CSDN的博客
08-01 1295
                   局部归一化的动机：在神经生物学有一个概念叫做侧抑制(lateral inhibitio)，指的是被激活的神经元抑制相邻神经元。归一化的目的是“抑制”，局部响应归一化就是借鉴侧抑制的思想来实现局部控制，尤其当我们使用RELU的时候这种”侧抑制“很管用。 好处：有利于增加泛化能力，做了平滑处理，识别率提高1-2%。LRN层模仿生物神经系统的侧抑制机制，对局部神...
局部响应归一化LRN
yeler082的博客
01-05 1501
LRN首次是在2012的AlexNet当中使用，其中的意图是对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。 下面是AlexNet论文中提及到的LRN 简要解释一下论文内容： relus激活函数本身具有良好的特性，在输入的时候可能不需要归一化就能防止网络饱和，即网络可以连续训练下去。对于relus激活函数来讲，如果存在...
深度学习的局部响应归一化LRN(Local Response Normalization)
AcceptedLin的博客
09-24 5890
深度学习的局部响应归一化LRN(Local Response Normalization) 这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。 AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。 （1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid...
深度学习饱受争议的局部响应归一化(LRN)详解
MIss-Y的博客
03-26 3万+
前言：Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。通过实验确实证明它可以提高模型的泛化能力，但是提升的很少，以至于后面不再使用，甚至有...
深度学习：局部响应归一化LRN
weixin_44633882的博客
02-08 1257
深度学习的局部响应归一化LRN   LRN这个概念和运用是出现在AlexNet中。LRN最初是生物学里的概念“相邻神经元抑制”，对局部神经元的活动创建竞争机制。使用LRN增加了泛化能力（使输出中响应比较大的值变得相对更大，并抑制其他响应较小的神经元），做了平滑处理，提高了1%~2%的识别率。 在Tensorflow中有对应的函数 tf.nn.lrn(input,depth_radius=None,...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值