【mindspore】【Tensor索引】mindspore的Tensor索引速度过慢

最新推荐文章于 2024-11-13 17:24:18 发布
最新推荐文章于 2024-11-13 17:24:18 发布
阅读量363 收藏
点赞数 1
文章标签： python 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666880/article/details/127549422
版权

【功能模块】

ubuntu 20.04 python3.9 cuda11.1环境下mindspore 1.7版本，Tensor索引功能速度较慢

【操作步骤&问题现象】

1、在mindspore 1.7的GPU工作模式下，对Tensor的索引速度较慢，和python的np.array格式的索引速度比较，mindspore的Tensor索引速度慢了好几个数量级

【截图信息】

您好 经过这边复现 目前确实存在Tensor索引速度过慢的问题 因为目前mindspore的Tensor索引过程中需要调用maketuple算子来将Gather的输出变成一个tuple 相对会比较耗时 我们会在Q4阶段对算子性能进行集中整改 感谢您的使用。

 

小乐快乐
关注
一个tensor遍历慢速的小原因
但行好事，莫问前程.
12-31 2045
Overview indices is a tensor shaped (1,token_size) in GPU interactionset is a set in CPU 当我遍历indices 查看item是否在interactionset 里时，出现了非常慢的现象。 step1 分析原因 token_size 大概是6000+，众所周知，find in set的复杂度大概为O(1) or O(log)，虽然python常数比 较大，但是理论上最慢也会在1s内处理完下面一条语句。 pred_ite
pytorch使用tensor作为tensor的索引
chenf1999的博客
09-12 4394
在使用pytorch时，我们经常会看到tensor1[tensor2]这样的代码，而不同的tensor2会导致不同的索引方式，本文详细介绍使用tensor作为索引的原理。 首先构造tensor1： >>> a = torch.randn(10, 5) >>> a tensor([[-0.9434, -2.8668, -0.4331, -1.6842, -0.1823], [-1.4545, -1.0065, 0.3228, 0.7457, 0.622
Mindspore 1.5rcGraph Mode训练速度慢，这是为什么？
Kenji_Shinji的博客
06-09 391
问题描述：【背景信息】整个Model是一个文字识别任务，包含CNN，Transformer，Loss只有一个CrossEntropy的分类loss。【问题描述】整个代码已经在PyNative模式下顺利运行，并且训练到了很高的性能。训练输入是batchsize=64的160x48的图片。输出类别数为7000左右。单卡单机，PyNative下训练，每个Batch平均需要3秒左右现在拿在PyNative模式下训练好的Model，load进来以后切换成GRAPH Mode继续finetune，发现精度几乎一致，没有
加载数据操作不当，导致tensorflow 训练越来越慢的原因
sanxiaw的博客
04-20 1134
在Session后的循环中加载数据时，对数据进行了tf.reshape, tf.transpose等操作，将原始narray格式的数据变成了tensor,会导致该步骤添加到计算图中，导致计算图越来越大以及ensorflow 训练越来越慢的原因。 加载数据格式：.mat 加载方式：scio.loadmat(file_path) # 错误格式： x_in = tf.compat.vi.placehol...
使用MindSpore在Ascend910上推理性能慢
Kenji_Shinji的博客
06-10 529
问题描述：【功能模块】Model.eval【操作步骤&问题现象】1、同样的模型，单芯片，在训练一百多万张图像的数据上，一个epoch耗时为一个多小时2、推理5万张图像，却需要7个小时，batch size都是相同的，为323、使用的是GRAPH_MODE【截图信息】 if args.eval: checkpoints = load_checkpoint(args.ckpt) msg = load_param_into_net(model, checkpoints)
torch.tensor索引
weixin_41529093的博客
08-12 349
仅作为记录，大佬请跳过。 用outputs[0][0] outputs # tensor([[ 7.7213, -7.2519]], device='cuda:0') # tensor([[ 7.3663, -7.1830]], device='cuda:0') # tensor([[-5.6146, 5.7881]], device='cuda:0') # a=np.array((torch.max(outputs).data.cpu()-(-10))/20) # a outputs.size() ou
Pytorch Tensor的索引与切片例子
09-18
在本篇中，我们将深入探讨PyTorch Tensor的索引与切片操作，这对于理解和处理Tensor数据至关重要。 1. PyTorch风格的索引： PyTorch中的索引类似于NumPy的索引方式，按照Tensor的形状从前往后进行逐维索引。例如，...
Mindspore-Tensor条件索引及赋值如何实现？
xi_xiyu的博客
11-04 825
目前mindspore的tensor不支持这样直接的操作，但是您暂时可以使用以下方式实现这个功能： ```python import mindspore x = mindspore.Tensor([[-1, 1], [2, -2]]) x = x.asnumpy() x[x > 0] += 1 x = mindspore.Tensor(x) print(x, type(x)) ```MindSpore中"x > 0 * x < 3"这样的代码就会报错，提示乘法运算不支持bool类型的Tensor。
PyTorch深度学习基础---Tensor的索引和切片
Ting_28的博客
03-10 534
Tensor支持基本索引和切片操作。Tensor支持ndarray中的高级索引（整数索引和布尔索引）操作。torch.nonzero用于返回非零值的索引矩阵。torch.where（condition，x，y）判断condition的条件是否满足。
MindSpore中Tensor修改指定值的效率太低
xi_xiyu的博客
11-10 328
***************************************************解答*****************************************************请检查一下mindspore的版本以及是在什么设备上有这个问题；以及检查一下pytorch和mindspore对于这个算子的profiling数据。这时, 在执行过程中耗时会非常长, 而同样逻辑的代码在PyTorch和Numpy中, 在极短时间内就可以完成.
Pytorch CPU Tensor与GPU Tensor的运算速度对比测试
Hanlin的博客
12-24 4575
分别使用CPU和GPU进行Pytorch中的Tensor（张量）计算，测试Tensor在两种不同运算设备上的计算速度差异。 设备： 服务器：Dell EMC Power Edge R740 CPU：Intel Xeon Gold 5117 * 2 Memory：64G GPU：NVIDIA Tesla T4 16G * 1 Python Version：3.8 CUDA Version：11.4 Pytorch Version：1.9.0 分别使用三种不同尺寸的Tensor..
MindSpore模型精度调优实战（一）精度问题的常见现象、原因和简要调优思路
archimekai的博客
02-21 1028
转自 华为云论坛https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=102750 MindSpore模型精度调优实战（一） 精度问题的常见现象、原因和简要调优思路 MindSpore团队 引子：在模型的开发过程中，精度达不到预期常常让人头疼。为了帮助用户解决模型调试调优的问题，我们为MindSpore量身定做了可视化调试调优组件：MindInsight。我们还梳理了针对常见精度问题的调试调优指南，将以“M...
含有js的英文单词_常用的js单词整理
weixin_39743414的博客
01-17 1335
单词 翻译var 完整 variable 变化的，声明变量Const 完整 constant 永恒的 声明常量typeof 类型，检测数据类型true 真false 假undefined 未定义null 空Number 数值string 字符串Boolean 布尔object 对象NaN 不是一个数字 Not a NumberparseInt Parse 解析 int 整型parseFloa...
torch.where和布尔索引的速度比较
WYXHAHAHA123的博客
03-05 3098
import torch import time x = torch.Tensor([[1, 2, 3], [5, 5, 5], [7, 8, 9],[5,5,5],[1,2,3,],[1,2,4]]) ''' 使用pytorch实现对于任意shape的torch.tensor,如果其中的element不等于5则为0，等于5则保留原数值 实现该功能的两种方式，并比较两种实现方式的速度 ''' ...
【Pytorch】tensor索引另一个tensor（tensor[tensor]）
ProLover98的博客
03-30 4240
说明 最近在使用pytorch中tensor的时候，遇到了需要使用tensor1[tensor2]的情况，发现了这篇博客，他从代码的角度解释了其工作原理，这里我用图示的方式解释tensor类型为longTensor时的情况 工作原理 首先，创建两个tensor，如下：import numpy as np import torch x1 = np.array([[1,0,0,1],[1,1,0,1...
MindSpore张量mindspore::tensor
吴建明wujianming_110117
01-24 653
MindSpore张量mindspore::tensor MSTensor #include <ms_tensor.h> MSTensor定义了MindSpore Lite中的张量。 构造函数和析构函数 MSTensor MSTensor() MindSpore Lite MSTensor的构造函数。 • 返回值 MindSpore Lite MSTensor的实例。 ~MSTensor virtual ~MSTensor() MindSpore Lite Model的析构函数。 公有成员函数
CUDA 中私有数组的快速动态索引
专注于人工智能领域的小何尚
05-19 673
CUDA 中私有数组的快速动态索引 有时候你需要在你的GPU内核中使用小型的每个线程私有的数组。访问这些数组中的元素的性能取决于许多因素。在这篇文章中，我将介绍几个常见的场景，从快速静态索引到更复杂、更具挑战性的用例。 静态索引 在讨论动态索引之前，让我们先简要了解一下静态索引。 对于所有索引在编译时都是已知常量的小数组，如以下示例代码所示，编译器将数组的所有访问元素放入寄存器中。 __global__ void kernel1(float * buf) { float a[2]; ...
ks8 本地化部署 F5-TTS
最新发布
陈锐的技术笔记
11-13 767
此外，F5-TTS 还创新性地引入了推理时的 Sway Sampling 策略，这一策略可以在推理阶段优先处理早期的流步骤，从而提高生成语音与输入文本的对齐效果。在 LibriSpeech-PC 数据集上，该模型的字错误率（WER）达到了2.42，并且在推理时的实时因子(RTF)为0.15，显著优于之前的扩散模型 E2TTS，后者在处理速度和鲁棒性上存在短板。传统的 TTS 模型往往需要进行复杂的持续时间建模、音素对齐和专门的文本编码，这些都增加了合成过程的复杂性。继续TSS的启动，进入pod 输入命令。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值