上古激活函数之local response normalizatiion

最新推荐文章于 2020-11-27 14:43:38 发布
最新推荐文章于 2020-11-27 14:43:38 发布
阅读量254 收藏
点赞数
分类专栏： NV shader 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33345917/article/details/108234905
版权

最近因为工作原因，需要写lrn的gpu shader实现，公式如下：
在这里插入图片描述
个人觉得lrn只适用于分类网络，且作用不大。
其一，网络在初始训练时，权重都是随机值，产生的特征没有表征意义，对没有表征意义的特征进行抑制或者放大，不合理，除非把公式里的几个超参改进成可训练的，随着网络的训练施加影响。
其二，对于非分类网络，例如图像生成，相邻通道值是不需要放大差距的，例如网络的最后进程，一般一个通道只表示一个或很少的特征，例如背景，值都是相近的

头发光了你就强了
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
torch.nn.LocalResponseNorm（局部响应归一化）详解（附源码解析）
LJR的博客
01-28 5785
torch.nn.LocalResponseNorm（局部响应归一化）详解（附源码解析） LRN 整理 总结 详细 详解 归一化层 参数 解释
深度学习：局部响应值归一化（Local Response Normalization，LRN）
默语之声的博客
04-02 988
Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。 LRN一般是在激活、池化函数后的一种方法。 在ALexNet中，提出了LRN层，对局部神经元的活动创建竞争机制，LRN仿造生物学上活跃的神经元对相邻神经元的抑制现象（侧抑制）。 Hinton在2012年的Alexnet网络中给出其具体的计算公式如下： 公式看上去比较复杂，但理...
详解LRN（local response normalization--局部响应标准化）缓解过拟合
qq_45704645的博客
11-27 2502
局部响应归一化层（Local Response Normalization） LRN全称为Local Response Normalization，即局部响应归一化层，LRN函数类似Dropout和数据增强作为relu激活函数之后防止数据过拟合而提出的一种处理方法。这个函数很少使用，基本上被类似Dropout这样的方法取代. 为什么要引入LRN层？ 首先要引入一个神经生物学的概念：侧抑制（lateral inhibitio），即指被激活的神经元抑制相邻的神经元。归一化（normaliazation）的目的
LRN ( Local Response Normalization) 局部响应归一化层
u014296502的专栏
12-19 1万+
LRN ( Local Response Normalization) 局部响应归一化层从网上找了很多博客，不知道为何就是不能把这个公式说的很透，可能是原理本身不好解释的原因，笔者希望能够用简洁的语言，能把LRN 解释的更加通俗易懂 首先在弄懂原理之前，希望读者能够认真的看两边公式，而不是直接看别人解释的原理 bix,yb^i_x,_y是归一化后的值，i是通道的位置，代表更新第几个通道的值，x与y代
Normalization(标准化)的原理和实现详解
Dongdong Bai's Blogs
10-08 4万+
Normalization这个名词在很多地方都会出现，但是对于数据却有两种截然不同且容易混淆的处理过程。对于某个多特征的机器学习数据集来说，第一种Normalization是对于将数据进行预处理时进行的操作，是对于数据集的各个特征分别进行处理，主要包括min-max normalization、Z-score normalization、 log函数转换和atan函数转换等。第二种Normaliza
Normalization
gwpscut的博客
11-30 1万+
Normalization 在我们讲深度学习的normalization 的算法开始，我们先了解一下机器学习的特征标准化，来让我们更好理解接下来要讲的算法。 标准化（Normalization） 目的： 在数据分析之前，我们通常需要先将数据标准化（normalization），利用标准化后的数据进行数据分析。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决...
复变函数 上古密卷1
08-04
复变函数考试题库 本资源收录了中国科学技术大学复变函数（A/B）和复分析的考试题，按照复变函数（A）、复变函数（B）、复分析进行排序，次序为时间先后。该资源主要供同学们考试之前模拟使用，越靠近现在的考卷...
webgl函数库.rar
09-03
这个“webgl函数库.rar”压缩包包含了一些关键的JavaScript库，帮助开发者更轻松地处理WebGL编程中的各种任务。下面我们将深入探讨这些库及其在WebGL开发中的作用。 1. **cuon-utils.js** Cuon_Utils是一个实用...
上古世纪jQ焦点图特效代码
03-20
【上古世纪jQ焦点图特效代码】是一个用于创建动态焦点图的JavaScript库，特别设计用于腾讯游戏《上古世纪》的官方网站。该特效通过jQuery库实现，为网站的图片展示带来平滑的淡入淡出效果，提升了用户体验，使得图片...
上古卷轴mac版
12-26
上古卷轴的mac适配版 mac系统也能玩到自己想玩的游戏 链接:https://pan.baidu.com/s/1eNk6NBpJOv-ZEWZDsjsqzw 提取码在page文件里（文件很大，如果没有会员或者科学下载方法的不要浪费积分啦，当然也可以先马下来）
上古卷轴nmm
08-11
上古卷轴mod管理器，可添加任何mod，只要配置带的动。
局部响应归一化（Local Response Normalization）
以笔为剑的唐吉坷德
01-19 7863
LRN是一种提高深度学习准确度的技术方法。LRN一般是在激活、池化函数后的一种方法。 在ALexNet中，提出了LRN层，对局部神经元的活动创建竞争机制，使其中响应比较大对值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。 在2012的Alexnet网络中具体计算公式如下： 其中，i表示第i个神经元在位置(x, y)使用激活函数ReLU后的输出，n是同一位置上临近的ker
深度学习的局部响应归一化LRN(Local Response Normalization)理解
热门推荐
yangdeshun888的博客
09-09 8万+
1、其中LRN就是局部响应归一化： 这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。         AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。 （1）成功使用R
pytorch的tensor与numpy数组转换
qq_33345917的博客
01-19 3万+
看代码，tensor转numpy: a = torch.ones(2,2) b = a.numpy() print(type(a)) print(type(b)) print(a) print(b) 输出为： <class ‘torch.Tensor’> <class ‘numpy.ndarray’> tensor([[1., 1.], [1., 1.]]) [[1. 1....
特征方程的基础理解
qq_33345917的博客
12-05 1万+
1，对于mXnA方程组，也就是m个方程，n个未知数，如果方程组不相容（方程组有相互矛盾的方程），则无解，解集为空；若相容，则要么有且仅有一个解，要么有无穷多个解。 从几何角度理解： 1.1对于二元方程组，方程组的解集取决于各个方程的几何直线的关系，相交有且仅有一个解，平行无解，重合有无数多个解 1.2对于3元方程组，方程组的解集取决于各个方程组的几何平面的关系 1.3对于超过3元的方程组，方程组的...
pytorch标签转onehot形式
qq_33345917的博客
01-20 1万+
代码： import torch class_num = 10 batch_size = 4 label = torch.LongTensor(batch_size, 1).random_() % class_num print(label.size()) one_hot = torch.zeros(batch_size, class_num).scatter_(1, label, 1) prin...
pytorch之Tensor与Variable的区别
qq_33345917的博客
01-19 6950
首先在变量的操作上： Tensor对象支持在原对象内存区域上修改数据，通过“+=”或者torch.add()方法 而Variable不支持在原对象内存区域上修改数据 Variable对象可求梯度，并且对Variable对象的操作，操作会被记录 ...
python之tensorflow之placeholder本质解析
qq_33345917的博客
12-10 5561
placeholder相当于C++的数组，但不同的是在直接或间接的run placeholder生成的对象时，必须往里面填值。 注意事项1： 每次直接或间接runplaceholder生成的对象时，都必须填值 注意事项2： 调用tf.placeholder（）函数生成对象时，shape必须是数组 注意事项3： placeholder对象与placeholder对象或者Variable或者const...
PIL读取图片的形状及变形
qq_33345917的博客
01-28 5531
代码： from PIL import Image img = Image.open(“图片路径”).convert(‘RGB’) 此时图片的形状是hwc，一般来说，训练网络要的形状是whc，这里可以用numpy变形 代码如下 img=np.array(img) img=img.transpose((1,0,2)) #hwc–>whc ...
100条上古灵签抽签解签mysql数据库
最新发布
01-29
上古灵签是一种有着悠久历史的占卜方法，人们通过抽取灵签来寻求对未来的指引和解答。为了将这种传统占卜方式与现代科技相结合，我们决定建立一个包含100条上古灵签的MySQL数据库。 首先，我们需要创建一个名为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值