ReduceSum算子性能问题

最新推荐文章于 2024-09-26 17:20:50 发布
最新推荐文章于 2024-09-26 17:20:50 发布
阅读量278 收藏
点赞数
文章标签： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666880/article/details/127773380
版权

MindSpore  GPU1.8.1

Ubuntu 22.4 

GPU 1080Ti

【操作步骤&问题现象】

mindspore模型在训练过程中的速度明显低于pytorch模型。

具体到代码而言，在损失函数中，使用到了几次该算子。

我根据API映射将该算子迁移过来。

#pytorch
log_prob = logits - torch.log(exp_logits.sum(1, keepdim=True))

mean_log_prob_pos = (mask * log_prob).sum(1) / mask.sum(1)

#mindspore
log_prob = logits - ops.log(ops.ReduceSum(keep_dims=True)(exp_logits, 1) + 1e-8)
op_sum = ops.ReduceSum()
mean_log_prob_pos = op_sum(mask * log_prob,1) /op_sum(mask,1)

【截图信息】

****************************************************解答*****************************************************

可参照一下这里，有性能分析，可以自检一下自己的模型：https://www.mindspore.cn/mindinsight/docs/zh-CN/r1.8/performance_profiling.html

小乐快乐
关注
AllReduce通信库；Reduce+LayerNorm+Broadcast 算子；LayerNorm（层归一化）和Broadcast（广播）操作；
ZJQ的博客
08-05 154
AllReduce通信库；Reduce+LayerNorm+Broadcast 算子；LayerNorm（层归一化）和Broadcast（广播）操作；
Spark-core 行动算子（十）
weixin_45025143的博客
12-26 693
Action 算子详解   上文我们讲过了常用的转换算子，本篇博客记录一下常用的行动算子，那我们开始啦。 Action算子和transformations算子的区别 transformations算子是惰性算子，也就是说它的触发条件不是代码执行到这，而是需要transformations算子的结果后才执行这个算子，transformations也为我们减少了很多非必要的开销。 Action算子是一个触发计算的算子，我们知道Spark是由很多的任务组成，而一个Action便形成了一个新的任务，也及.
reduce_sum和reduce_mean函数
Dzwfvz的博客
08-08 1262
reduce_sum和reduce_mean函数 https://blog.csdn.net/Vipbinn/article/details/82978003 https://www.cnblogs.com/rossoneri/p/8029940.html https://blog.csdn.net/chengshuhao1991/article/details/78545723 一...
tf.reduce_sum理解（小记）
热门推荐
arjick的专栏
11-01 9万+
reduce_sum应该理解为压缩求和，用于降维 # 'x' is [[1, 1, 1] #         [1, 1, 1]] #求和 tf.reduce_sum(x) ==> 6 #按列求和 tf.reduce_sum(x, 0) ==> [2, 2, 2] #按行求和 tf.reduce_sum(x, 1) ==> [3, 3] #按照行的维度求和 tf.r
reduceSum记录
ostecdududu的博客
08-10 785
在GPU上不断优化reduce算子
Tensorflow 的reduce_sum()函数
gelinggeling88的博客
08-13 914
百度上搜了很多，还是这个知乎给的解释最好！ https://www.zhihu.com/question/51325408?from=profile_question_car       作者：黄璞 链接：https://www.zhihu.com/question/51325408/answer/125426642 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转...
PyTorch学习笔记（16）损失函数（一）
qq_33357094的博客
02-27 430
损失函数 损失函数：衡量模型输出与真实标签的诧异 损失函数(Loss Function): 计算一个样本的差异  Loss =f(y∧,y)\text { Loss }=f\left(y^{\wedge}, y\right) Loss =f(y∧,y) 代价函数(Cost Function) 计算整个样本集的loss的平均值 cos⁡t=1N∑iNf(yi∧...
[Spark算子] 对比 groupByKey / reduceByKey / foldByKey / aggregateByKey 算子区别
idcbad的博客
04-28 341
简单对比 groupByKey / reduceByKey / foldByKey / aggregateByKey 算子区别, 强化理解记忆
spark 常用算子大全（分类详细，图片解析）
BigData_Hubert的博客
09-25 9448
scala 系列 spark 常用算子大全 scala 常用算子大全scala 系列前言思维导图 前言 上一篇博客已经给大家介绍了 scala OOP， 掌握了OOP 的知识后，就已经算是进入 scala 的门了。scala OOP基础是 spark 和 flink 的基础。 本篇博客将为大家带来 scala 高级扩展的介绍。主要包括模式匹配和正则表达式，此外还有异常处理、注解和高级类型的简单了解。 思维导图 ...
TensorFlow基础1：reduce_sum()函数和reduce_mean()函数
闪电小飞侠
11-15 2万+
TensorFlow之reduce_sum()函数和reduce_mean()函数
Pytorch Tensor的奇妙运算
w55100的博客
05-20 1万+
加法运算 1. 加号运算符 同型时，效果等同于点加 import torch a = torch.Tensor([1,2]) b = torch.Tensor([3,4]) c=a+b print(c) #tensor([4,6]) a = torch.Tensor([[1,2],[3,4]]) b = torch.Tensor([[5,6],[7,8]]) c=a+...
TensorFlow的reduce_sum()函数
Sual
05-20 5万+
日期：2017.5.20导师让下周二之前用TensorFlow把MNIST跑通，今天看源码碰到这么一行，发现TensorFlow里面的求和函数和其他语言差别挺大，便记录下来。import tensorflow as tf...# 交叉熵评估代价 cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indice
【算法分析】Reduce类算子-ArgMax解析
HaoBBNuanMM的博客
12-11 3527
什么是Reduce算子 常见的如TensorFlow的tf.reduce_sum、MNN框架中的ArgMax/ArgMin，概况起来说就是对输入的多维张量（Tensor）数据，在某一维上执行特定的计算（比如sum、求Max/Min），从而达到降低维度的目的，下图先展示了一个典型的Reduce算子计算过程，本文围绕该过程对算法做详细说明 3维矩阵Reduce计算示意 理解Reduce的过程 2维矩阵Reduce计算示意图 如上图所示，2维矩阵(n,m) 有x和y两个维度的方向，在x维度做redu
第二篇 对tf.reduce_sum的理解
Welcome
09-13 1294
这个函数一般使用如下： import tensorflow as tf x = tf.constant([[1,1,1],[2,2,2]]) y1 = tf.reduce_sum(x,0) y2 = tf.reduce_sum(x,1) y3 = tf.reduce_sum(x,1,keep_dims=True)       从函数名字上理解，相当于一种减少维度的计算函数。 那么上面这个函
reduce_sum()函数 Tensorflow
a1111h的博客
08-25 2586
reduce_sum() reduce_sum() 函数由reduce和sum两个单词组成函数名，从字面意思上讲是减少和求和的意思，这让人感到莫名其妙。 reduce_sum() 函数确实有减少和求和两层意思，但减少和求和的作用对象却不一样： reduce在函数中应该翻译成降维或者塌缩的意思，他的作用对象是求和对象的维度，而sum求和便是求指定维度的数据和。 下面我们举一个三维数组的例子 ...
【深度学习】（3）--损失函数
m0_74896766的博客
09-18 2345
本篇介绍了部分损失函数： 1. L1Loss损失函数：通常用于回归任务中。 2. NLLLoss损失函数：在多分类问题中广泛应用。 3. MSELoss损失函数：在多种回归任务中表现出色。 4. BCELoss损失函数：广泛应用于各类二分类任务中。 5. CrossEntropyLoss交叉熵损失函数：广泛应用于多分类问题中。
对比学习训练是如何进行的
qq_45809323的博客
09-25 431
对比学习（Contrastive Learning）是一种自监督学习的方法，旨在通过拉近相似样本的表示、拉远不相似样本的表示来学习特征表示。在训练过程中，模型并不依赖标签，而是通过样本之间的相似性进行学习。
用于MRI重建的具有全局感受野的傅里叶卷积块|文献速递--基于多模态-半监督深度学习的病理学诊断与病灶分割
最新发布
weixin_38594676的博客
09-26 644
在本研究中，我们提出了一种新颖的全局傅里叶卷积块（FCB），具有整个图像的感受野和较低的计算复杂度，通过将常规的空间域卷积转化为频率域实现。在本研究中，我们提出了一种新颖的全局傅里叶卷积块（FCB），具有整个图像的感受野和较低的计算复杂度，通过将常规的空间域卷积转化为频率域实现。这意味着，虽然傅里叶域中的卷积核 W 大小与输入相同，但它的空间对应物可以是一个大小为 K × K 的零填充卷积核，大小范围从 1 × 1 到输入大小 N × N 不等。顶部显示了8×加速的结果，底部显示了12×加速的结果。
AI学习指南深度学习篇-Adadelta算法流程
俞兆鹏的博客
09-23 678
在深度学习领域，优化算法一直是一个重要的研究方向。在训练深度神经网络时，选择合适的优化算法可以大大提高训练速度和模型性能。Adadelta算法是一种自适应学习率的优化算法，它不需要手动设置学习率，能够在训练过程中自动调整学习率，适应不同参数的变化。
lammps中copute reduce sum形式解读和例子
09-13
LAMMPS（Large-scale Atomic/Molecular Massively Parallel Simulator）是一个分子动力学模拟软件，广泛应用于粒子系统的研究。在LAMMPS中，`compute reduce sum`是用于对粒子或物体的某个属性进行归约操作的一种命令，比如对一个或多个属性进行求和。 `compute reduce sum`命令的基本形式如下： ``` compute ID group-ID reduce args ``` - `ID` 是为此次计算指定的一个唯一标识符。 - `group-ID` 是计算所作用的粒子组的标识符，可以使用 `all` 来指定所有粒子。 - `reduce` 是计算类型，表示要对属性进行归约操作。 - `sum` 是归约操作的类型，这里表示求和操作。 例如，如果你想要计算一个模拟盒子中所有原子的势能总和，你可以使用如下命令： ``` compute pe all reduce sum pe ``` 这条命令会创建一个计算标识符为 `pe` 的计算，它会计算组 `all` 中所有原子的势能总和。在这里，`pe` 是LAMMPS中代表势能的属性名。 请注意，这只是一个简单的例子，实际使用时你可能需要根据模拟的具体内容选择合适的属性和组。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值