LRN学习笔记

最新推荐文章于 2024-04-25 10:57:19 发布
最新推荐文章于 2024-04-25 10:57:19 发布
阅读量663 收藏 3
点赞数 1
分类专栏： 找个实习 文章标签： cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42585595/article/details/82881520
版权

LRN（Local Response Normalization)

作用：将不同卷积核RELU后的feature归一化，平滑处理，能增加泛化能力。
原因：生物方面，玄学
Alexnet提出
公式：
LRN
其中i代表第i个卷积核
a x , y i , 表 示 第 i 个 卷 积 核 在 x , y 处 的 R E L U 后 结 果 n 表 示 规 范 化 范 围 k , α , β , n 为 超 参 数 ， 一 组 取 值 为 2 ， 10 e − 4 ， 0.75 a^{i}_{x,y},表示第i个卷积核在x,y处的RELU后结果 n 表示规范化范围 k,\alpha,\beta,n为超参数，一组取值为2，10e-4，0.75 ax,yi​,表示第i个卷积核在x,y处的RELU后结果n表示规范化范围k,α,β,n为超参数，一组取值为2，10e−4，0.75
后来实验发现，LRN层似乎没什么用-_-

weixin_42585595
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
卷积神经网络闲扯-------也许并没有LUAN用的LRN
MiniCnCoder的博客
04-12 567
alexnet当中提出，不过VGGNet当中被视为是没啥LUAN用的~闲来无事也学习下（感性理解下）：tensorflow函数：tf.nn.lrn(input,depth_radius=None,bias=None,alpha=None,beta=None,name=None)The 4-D input tensor is treated as a 3-D array of 1-D vectors...
LRN
热门推荐
Black eyes的博客
07-24 1万+
LRN全称为Local Response Normalization，即局部响应归一化层，具体实现在CAFFE_ROOT/src/caffe/layers/lrn_layer.cpp和同一目录下lrn_layer.cu中。   该层需要参数有： norm_region： 选择对相邻通道间归一化还是通道内空间区域归一化，默认为ACROSS_CHANNELS，即通道间归一化； local_si
深度探索：机器学习中的局部响应归一化（Local Response Normalization, LRN）算法原理及其应用
最新发布
qq_51320133的博客
04-25 787
局部响应归一化作为早期深度学习中的一个重要技术，尽管在一些新型网络结构中的使用频率有所下降，但它所体现的局部竞争机制及其对生物视觉系统的模拟仍然具有重要的理论价值和启发意义。随着深度学习技术的发展，未来的研究有可能将LRN的思想与更先进的归一化技术相结合，设计出更加高效、鲁棒的神经网络模型。
LRN (Local Response Normalization，即局部响应归一化层)
Learning by doing
02-02 1万+
LRN (Local Response Normalization，即局部响应归一化层) （一）先看看归一化吧 什么是归一化？ 归一化化是归纳统一样本的统计分布性。就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。 为什么要归一化，归一化目的是什么？ （1）为了后面数据处理的方便，归一化的确可以避免一些不必要的数值问题。 （2）为了
LRN ( Local Response Normalization) 局部响应归一化层
qq_32172681的博客
09-18 795
LRN全称为Local Response Normalization，即局部响应归一化层，LRN函数类似DROPOUT和数据增强作为relu激励之后防止数据过拟合而提出的一种处理方法。这个函数很少使用，基本上被类似DROPOUT这样的方法取代，见最早的出处AlexNet论文。 首先在弄懂原理之前，希望读者能够认真的看两边公式，而不是直接看别人解释的原理 bix,ybxi,y是归一化后的值，i...
LRN层1
08-03
初始例代码初始例代码输张量形状 (1,3,3,3)from cuda import cudartimport tensorrt as trt# # 替换部分#
Microsoft Lrn3
07-06
Lrn是一款微軟公司設計給數位教學者編制數位教材的整合軟體,十分容易上手
LRN iESOL C2 考试样题
03-13
英国LRN iESOL考试 C2 级别（相当于剑桥体系CPE）样题与答案+听力文件
LRN iESOL C1 考试样题
03-13
英国LRN iESOL考试 C1 级别（相当于剑桥体系CAE）样题与答案+听力文件
M3-LRN:存档2021
04-17
M3-LRN Arxiv 2021：通过多任务，多模式和多表示地标优化网络进行准确的3D人脸几何预测
局部响应归一化LRN (Local Response Normalization)
06-12 7839
一、LRN技术介绍： LRN（Local Response Normalization） 是一种提高深度学习准确度的技术方法。 LRN 一般是在激活、 池化函数后的一种方法。在 ALexNet 中， 提出了 LRN 层， 对局部神经元的活动创建竞争机制， 使其中响应比较大对值变得相对更大， 并抑制其他反馈较小的神经元， 增强了模型的泛化能力。 AlexNet将LeNet的思想发扬光大，把CN...
局部响应归一化LRN（Local Response Normalization）
吃葡萄不吐葡萄皮
07-18 1505
LRN主要用于激活函数后的归一化过程，它对局部神经元响应进行归一化，使得响应较大的神经元抑制响应较小的神经元，从而增强模型的泛化性能。LRN的使用地方主要是在深度学习的卷积神经网络中，特别是一些经典的网络结构中，如AlexNet和GoogLeNet等。在这些网络中，LRN被用于增强网络的泛化性能和对变化的适应性。LRN的作用是增强模型的鲁棒性和泛化能力，它可以在一定程度上抑制较大的激活值，增强模型对光照、对比度等变化的适应性。是可调节的超参数，用于控制归一化的程度。表示特征图的通道数，
局部响应归一化LRN(Local Response Normalization)是啥
会飞的猪的博客
05-29 1513
归一化有很多种方法，第一次遇到LRN是在Alexnet中，用于对卷积层的输出结果进行归一化。公式如下： 这里的i表示第i个通道，(x,y)为某个像素点位置。这里的意思就是说，我要把卷积层输出的第i个通道的(x,y)位置的值进行归一化。为什么叫局部响应呢？个人认为是因为每次归一化某个值得时候，要参考某个与该值相关的局部区域内的响应值，那这个局部区域怎么定呢？ 这里是使用与该值具有同一位置...
局部响应归一化（LRN）
realjc的博客
08-05 268
tensorflow中的定义： 就是按通道归一化。 例子： import numpy as np import tensorflow as tf a = np.ones([2,3,3, 5])## batch_size,row,col,channel b = tf.nn.local_response_normalization(a, 1, 0, 1, 1)## radius, bias, alpha,beta sess = tf.Session() print (sess.run(b)) 输出：
详解LRN（local response normalization--局部响应标准化）缓解过拟合
qq_45704645的博客
11-27 2425
局部响应归一化层（Local Response Normalization） LRN全称为Local Response Normalization，即局部响应归一化层，LRN函数类似Dropout和数据增强作为relu激活函数之后防止数据过拟合而提出的一种处理方法。这个函数很少使用，基本上被类似Dropout这样的方法取代. 为什么要引入LRN层？ 首先要引入一个神经生物学的概念：侧抑制（lateral inhibitio），即指被激活的神经元抑制相邻的神经元。归一化（normaliazation）的目的
LRN与BN
sinat_36391198的博客
08-31 1830
LRN是作用于卷积的一种优化，即局部响应归一化层。它的作用是减少过拟合的产生，一般用在卷积RULE激活函数之后的一层。 具体是实现如下： 公式看起来有一些麻烦，但我们不需要关心公式的组成，我们考虑其中的原理即可。为什么要在RELU后一层加上这个来改变当前层输出结果？他会对局部神经元创建对比，使得其中响应值较大的神经元变得更大，使得响应小的神经元变得更小，可以更加快速的训练模型，并且相比于不...
LRN，BN，LN，IN，GN
nwpuxhld
02-28 2286
这篇文章中我们介绍五种用在深度学习中的normalization方法。Local Response Normalization，Batch Normalization，Layer Normalization，Instance Normalization，Group Normalization Local Response Normalization 来源：AlexNet 公式化：bx,yi=a...
LRN-局部相应层
Loong Cheng的博客
02-26 1326
LRN是Local Response Normalization的缩写，局部相应层。 这类层应用得并不多，在vgg那个论文中比较网络深度时候有用。 局部响应归一层的基本思路是，假如这是网络的一块，比如是 9×9×256，LRN 要做的就是选取一个位置（注意是一个位置），比如说这样一个位置，从这个位置穿过整个通道，能得到 256 个数字，并进行归一化。 进行局部响应归一化的动机是，对于这张 9...
public byte[] getLRn() { if(Ln==null||Rn==null)return null; byte[] LRn=new byte[8]; System.arraycopy(Ln, 0, LRn, 0, 4); System.arraycopy(Rn, 0, LRn, 4, 4); return LRn; } }代码的意思
06-13
这段代码是一个Java类中的一个方法，其作用是将两个字节数组Ln和Rn合并成一个长度为8的字节数组LRn，并返回LRn。具体实现方式是使用Java中的System.arraycopy方法，将Ln的前4个字节拷贝到LRn的前4个字节，将Rn的前4...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值