Mindspore中的lrn与Pytorch中的LocalResponseNorm的区别

最新推荐文章于 2024-01-16 14:58:09 发布
最新推荐文章于 2024-01-16 14:58:09 发布
阅读量176 收藏
点赞数
文章标签： 华为 python pytorch 神经网络 机器学习 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YIHII/article/details/129365682
版权

首先放上两个框架中的函数介绍

其中mindspore框架中的lrn的参数bias与pytorch框架中的LocalResponseNorm的参数k对应，而另一对参数depth_radius与size则不是完全一致，其中depth_radius代表的是n/2，而size代表的是n。所以在迁移代码的时候记得把size除以2(*^_^*)

翻看了pytorch的源码，实际上是使用了平均池化操作实现的：

先求平方：

然后pad一下源数据，送进平均池化，平均池化的kernel简化成了一维kernel，实现只聚合左右邻居的信息。

最后是将其他操作完成

YIHII
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mindspore和pytorch的比较 -- 构建网络（一）
liutt233的博客
08-21 3234
比较mindspore和torch网络建立相关的内容 一、网络构建：分别使用mindspore和torch构建两个相同的网络： mindspore： 建立一个子Cell：ConvBNReLU： from mindspore import Tensor, ops, Parameter, nn class ConvBNReLU(nn.Cell): def __init__(self): super(ConvBNReLU, self).__init__() self.conv = nn.Co
深度学习框架 PyTorch vs MindSpore （一）： 二者的Tensor操作方法，以及与NumPy的转换
qq_43799400的博客
07-15 6327
一、torch.Tensor 1、torch.Tensor 的基本用法 torch.Tensor 默认数据类型是 float32 torch.LongTensor 默认数据类型是 int64 数据类型转换可通过 t.int() 和 t.float()实现 t.size(): 查看形状，与 t.shape 等价 t.ndim: 查看维数 t.numel(): 查看元素总数 type(t): 查看数据结构类型 t.dtype: 查看元素数据类型 example： import torch b=torch.Te
mindspore和pytorch的比较 -- 网络接口部分（二）
liutt233的博客
08-21 1207
二、网络接口及支持的方法 功能 mindspore Cell接口 torch Module接口 查看模块 cells_and_names() modules()，named_modules() 功能一致 cells() children() 略有差异 name_cells() name_children() 略有差异 获取参数 parameters_and_names()，get_parameters() state_dict(destination=None) 略有差异
mindspore比pytorch快？是的
大鱼的博客
02-25 2407
华为宣传说mindspore比pytorch快，说是加了自动微风，确实在mindspore中训练不需要自己写优化的过程，不过空说无凭，试验了一下，真的快一些 这里拿mnist分类的例子做实验 epoch选取了10和50 mindspore： # -*- coding: utf-8 -*- import os import time import mindspore.nn as nn from mindspore.common.initializer import Normal from minds
mindspore的nn.Conv2d怎么和pytorch的不一样
weixin_45666880的博客
06-12 315
问题描述：mindspore 1.6【操作步骤&问题现象】1、我发现mindspore的nn.Conv2d和pytorch的Conv2d运行结果相差甚远，但是官方文档的解释算法明明是一样的2、kernel，padding，stride这些参数设置的都一样，为什么结果大不相同呢？是我漏掉了什么吗？【截图信息】mnist数据集选取一个图片数组使用pytorch的conv2d使用msp的conv2d解答：因为bias_init的默认值为zeros，所以结果加上bias也不会发生改变，一般has_bias和bias
alexnet pytorch代码
04-12
**AlexNet 模型在 PyTorch 中的实现** AlexNet 是深度学习领域的一个里程碑，由 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 在 2012 年的 ImageNet 大规模视觉识别挑战赛中提出。这个模型的成功打破了...
program_pytorch_alexnet_图像处理_
10-04
标题中的"program_pytorch_alexnet_图像处理_"暗示了我们即将探讨的是使用PyTorch框架实现AlexNet模型进行图像处理的相关知识。AlexNet是由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton在2012年的ImageNet ...
NRF24L01中文资料及原理图
09-07
此外，nRF24L01 提供125个通信频道，可以灵活配置，并与nRF24系列其他射频器件兼容。芯片采用QFN20封装，工作电压范围在1.9V至3.6V之间。 **二、引脚功能** nRF24L01 具有多达20个引脚，包括： 1. CE：控制发射或...
AlexNet_alexnet_pytorch神经网络_深度学习；pytorch；AlexNet_
10-01
4. **局部响应归一化**：AlexNet引入了局部响应归一化（Local Response Normalization, LRN），这有助于在深度网络中进行特征竞争，但现代的深度学习模型中已较少使用。 5. **GPU并行计算**：AlexNet是首个广泛使用...
对比pytorch的优化器实现及使用方法MindSporeAI
skytttttt9394的博客
08-18 781
MindSpore和pytorch都支持参数分组且使用方法相似，在使用时都是给优化器传入一个字典的列表，每个字典对应一个参数组，其中key为参数名，value为对应的设置值。Mindspore中的混合精度场景下，如果使用FixedLossScaleManager进行溢出检测，且drop_overflow_update为False时，优化器需设置loss_scale的值，且loss_scale值与FixedLossScaleManager的相同，详细使用方法可以参考优化器的混合精度配置。
MindSpore和Python中nn.Unfold的区别
qq_22762933的博客
11-22 809
MindSpore和Python中nn.Unfold的区别。 项目迁移遇到每一个不一样的东西都需要看懂....
pytorch 中 in-place
m0_43395719的博客
09-28 406
in-place inplace-选择是否进行覆盖运算 Torch 为了提高速度，model:forward() 操作之后赋予的变量是不给这个变量开盘新的存储空间的，而是 引用。就相当于 起了个别名。 in-place operation在pytorch中是指改变一个tensor的值的时候，不经过复制操作，而是直接在原来的内存上改变它的值。可以把它成为原地操作符。 在pytorch中经常加后缀“”来代表原地in-place operation，比如说.add() 或者.scatter()。python里面的
PyTorch实战：常用卷积神经网络搭建结构速览
master_hunter的博客
09-25 1016
PyTorch可以说是三大主流框架中最适合初学者学习的了，相较于其他主流框架，PyTorch的简单易用性使其成为初学者们的首选。这样我想要强调的一点是，框架可以类比为编程语言，仅为我们实现项目效果的工具，也就是我们造车使用的轮子，我们重点需要的是理解如何使用Torch去实现功能而不要过度在意轮子是要怎么做出来的，那样会牵扯我们太多学习时间。以后就出一系列专门细解深度学习框架的文章，但是那是较后期我们对深度学习的理论知识和实践操作都比较熟悉才好开始学习，现阶段我们最需要的是学会如何使用这些工具。
torch.nn.LocalResponseNorm（局部响应归一化）详解（附源码解析）
LJR的博客
01-28 5810
torch.nn.LocalResponseNorm（局部响应归一化）详解（附源码解析） LRN 整理 总结 详细 详解 归一化层 参数 解释
基于mindspore的项目
yaleyalee的博客
08-17 875
是网络最终预测的结果，也就是“可能值”，因为网络可能预测正确也可能错误Anchor box被称作预选框，anchor的机制会更复杂一些，有许多帖子来专门讲解这个。总的来说就是在图像上会按照一定的规律放置一些anchor，网络会学习anchor相对于ground truth的偏移量，我们可以把anchor看作bounding box的“爷爷”，anchor+/-/×/÷偏移量所得到的框是bounding box的“父亲”，“父亲”经过非极大值抑制（NMS）之后就是bounding box了。
详解LRN（local response normalization--局部响应标准化）缓解过拟合
qq_45704645的博客
11-27 2552
局部响应归一化层（Local Response Normalization） LRN全称为Local Response Normalization，即局部响应归一化层，LRN函数类似Dropout和数据增强作为relu激活函数之后防止数据过拟合而提出的一种处理方法。这个函数很少使用，基本上被类似Dropout这样的方法取代. 为什么要引入LRN层？ 首先要引入一个神经生物学的概念：侧抑制（lateral inhibitio），即指被激活的神经元抑制相邻的神经元。归一化（normaliazation）的目的
AlexNet模型浅析
m0_62595959的博客
05-30 163
ReLU Nonlinearity，Training on Multiple GPUs，局部响应归一化（Local Response Normalization），重叠池化，减少过拟合 （Reducing Overfitting），Dropout，Qualitative Evaluations（定性评估）
深入理解 PyTorch 激活函数：从基础到高效实用技巧（4）
最新发布
CDBmax的博客
01-16 1381
这个公式表示输入值的指数减去其负指数，然后除以这两个指数的和。结果是一个在 -1 和 1 之间的输出，提供了一个平滑的非线性变换。这个公式表示计算输入值的负指数，加 1 后取其倒数。结果是一个在 0 和 1 之间的输出，提供了平滑的非线性变换。如果x ≤ -3，则。如果x ≥ +3，则。否则，。这个公式将输入值分为三个区域：小于等于 -3 的区域输出为 0，大于等于 +3 的区域输出为 1，介于这两者之间的区域输出为。其中σ(x)是逻辑 Sigmoid 函数。这意味着每个输入值x。
Caffe深度学习框架详解与中文教程翻译
1. Blob的存储与交换部分介绍了在Caffe中，数据是以Blob的形式进行存储和传递的，它们包含了输入和输出数据以及中间变量。实现细节包括了如何有效地管理和组织这些数据结构，以支持高效的计算流程。 2. Layer的计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值