mindspore.profiler如何获取aicore_time、mte1_time等数据

最新推荐文章于 2024-07-21 18:33:37 发布
最新推荐文章于 2024-07-21 18:33:37 发布
阅读量257 收藏
点赞数
文章标签： 数学建模
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xi_xiyu/article/details/131310213
版权

问题描述：

使用mindspore.profiler生成profile_data文件夹后，aicore_time、mte1_time、mte2_time等数据在哪些文件中？

解答：

修改 /mindspore/python/mindspore/profiler/profiling.py 文件 

"aic_metrics": "ArithmeticUtilization",  改成：PipeUtilization 

生成数据后，然后再用msprof解析，就可以看到了

xiao | yang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
MindSpore API编程概述
吴建明wujianming_110117
01-24 880
MindSpore API编程概述 总体架构 MindSpore是一个全场景深度学习框架，旨在实现易开发、高效执行、全场景覆盖三大目标，其中易开发表现为API友好、调试难度低，高效执行包括计算效率、数据预处理效率和分布式训练效率，全场景则指框架同时支持云、边缘以及端侧场景。 MindSpore总体架构分为前端表示层（Mind Expression，ME）、计算图引擎（Graph Engine，GE）和后端运行时三个部分。ME提供了用户级应用软件编程接口（Application Programming Int
SciTech.NET.Memory.Profiler.v4.0.114.安装_注册机
01-08
SciTech.NET.Memory.Profiler.v4.0.114就是这样一款专门用于查找.NET应用程序内存泄漏并优化内存使用的工具，它支持C#、VB.Net以及其他.NET语言。 一、内存泄漏及其影响 内存泄漏是指程序在申请内存后，无法释放已...
Mindspore【Profiler】profiler.analyse()报错
weixin_45666880的博客
06-20 125
**************************解答***************************是环境变量RANK_ID和DEVICE_ID配置不一样造成的。
mindspore profiler出现问题
weixin_45666880的博客
10-31 199
执行环境：mindspore/mindspore-gpu-cuda10.1:1.7.0镜像代码如下所示： 复制 直接执行后出现权限问题： 复制 但是使用给与管理员权限之后出现如下错误：找不到nvcc。 复制 最后我直接使用切换到管理员身份并执行python代码，最后还是会出现最开始的权限问题。启动docker时使用--privileged=true选项即可
【MindSpore易点通】如何根据profiler数据查看性能瓶颈
Kenji_Shinji的博客
11-07 679
3.当算子左边连接的Queue使用率都比较高，右边连接的Queue使用率比较低时，该算子可能是性能瓶颈：图中红框内数据可以看出，map操作过程中的队列使用率高，而右边连接的队列使用率较低，判断map中的数据处理过程存在性能瓶颈。：分析用于已经定位到了该阶段的问题时，定位其中哪个算子存在问题，通过各个算子之间的队列的使用率，判断前面的算子能否提供足够的数据到队列中供下一个算子使用。经过以上优化，训练性能得到明显提升。：下图展示了迭代间隙阶段执行的操作的流程，通过分析队列中数据的情况判断出现性能问题的步骤。
MindSpore模型快速调优攻略笔记分享（上）
Jack20的博客
12-28 1472
• 近年来，深度学习技术在语音识别、自然语言处理、计算机视觉、信息检索等任务上取得了突破性进展; • 深度学习模型的复杂度与规模日益扩张，导致模型的调试调优成为了困扰算法工程师的一大难题; • MindSpore是由华为自研的深度学习框架，最佳匹配昇腾Al处理器算力，为数据科学家和算法工程师提供设计友好、运行高效的开发体验; • 在广泛吸纳行业用户诉求后，MindSpore推出Mindlnsight工具包，涵盖生态迁移、调试调优，以解决用户关键诉求。
【MindSpore Profiler】【性能调优】GPU分布式训练卡死
weixin_45666880的博客
06-25 908
问题描述：【功能模块】【操作步骤&问题现象】1、在单机四卡环境下，使用官方提供的脚本进行训练，参数配置未改变2、在run_pretrain.py文件中调用Profiler工具记录性能数据（代码中第24，25行）3、发现训练过程卡死不动，程序未报错退出，此时GPU利用率为0，CPU利用率很高4、相关环境为【截图信息】卡死时状态 解答：从日志看，应该在正常执行，只是用profiler之后，会改成同步执行，网络执行速度就会比较慢。一般情况下，大网络，只会跑几个step用来分析性能，不会长期跑。 step 收集，可
MindSpore:【mindinsight】【Profiler】用execution_time推导出来的训练耗时远小于真实的耗时
weixin_45666880的博客
08-03 590
优化后：用BatchMatMul算子的耗时计算一个epoch的耗时：execution_time / percent * (1562 / 71) = 2170 / 0.8015 * (1562 / 71) = 59563.3188ms ≈ 60s。也就是说，优化前后，用execution_time推导出来的一个epoch的训练时间，都比真实的训练时间少了两百多秒。一个epoch是1562个step。2、迭代轨迹中，前反向耗时除了每个算子的耗时外，还要考虑每个算子的调度间隙，即算子间的空隙是不是比较大。...
matopt.rar_Preallocation_The Profiler_array processing
07-13
Learn how to use the Profiler tool, vectorized functions, and other tricks to writing efficient MATLAB code. This article includes how to convert any array into a column vector, bounding a value ...
Thread-dynamic-display-time.zip_Time_dynamic
09-24
6. **性能分析工具**: 开发者通常使用专门的性能分析工具（如gprof、perf、Visual Studio的Profiler等）来查看线程的运行时间。这些工具可以提供详细的线程活动信息，包括CPU使用率、上下文切换次数等，帮助开发者...
profiler_vector_to_list.rar_The Profiler
09-23
"Profiler"是一种工具，它用于测量程序运行时的各种指标，如函数调用时间、内存使用等，从而帮助开发者识别瓶颈并进行改进。标题中的"profiler_vector_to_list.rar_The Profiler"暗示我们将探讨一个涉及向量（vector...
profiler_list_to_vector.rar_The Profiler
09-23
《对象表中的列表到向量转换：深入了解The Profiler》 在编程和性能优化领域，了解程序运行时的行为至关重要。"The Profiler"是一个强大的工具，用于分析代码的执行效率，帮助开发者找出瓶颈并进行优化。本文将深入...
智能优化算法之灰狼优化算法（GWO）
Argulo的博客
07-19 966
智能优化算法是一类基于自然界中生物、物理或社会现象的优化技术。这些算法通过模拟自然界中的一些智能行为，如遗传学、蚁群觅食、粒子群体运动等，来解决复杂的优化问题。智能优化算法广泛应用于各种工程和科学领域，因其具有全局搜索能力、鲁棒性强以及易于实现等优点。
数学建模学习（1）遗传算法
m0_74807013的博客
07-20 1255
遗传算法（Genetic Algorithm, GA）是一种用于解决优化和搜索问题的进化算法。它基于自然选择和遗传学原理，通过模拟生物进化过程来寻找最优解。初始化种群（Initialization）：随机生成一组可能的解（个体），形成初始种群。适应度评估（Fitness Evaluation）：根据适应度函数评估每个个体的质量，即其解问题的效果。选择（Selection）：根据适应度选择较优的个体进行繁殖。常见的选择方法包括轮盘赌选择锦标赛选择和排序选择。交叉（Crossover）
数学建模--线性规划法
2302_80644606的博客
07-21 1360
线性规划（Linear Programming，简称LP）是运筹学中的一个重要分支，广泛应用于资源优化、生产安排、经济分析等领域。其主要任务是在一组线性约束条件下，求解一个线性目标函数的极值问题。
数学建模~~~SPSS相关和回归分析
最新发布
binhyun的博客
07-21 1077
1.双变量相关分析 1.1理论基础 1.2简单散点图的绘制介绍 1.3相关性分析 1.4分析相关性结果 2.简单线性回归分析 2.1简单概括 2.2分析过程 2.3结果分析 3.曲线回归分析 3.1问题介绍 3.2分析过程 3.3结果分析
数学建模（4）——支持向量机算法
m0_74807013的博客
07-20 435
支持向量机（Support Vector Machine, SVM）是一种监督学习算法，用于分类和回归任务。SVM 的基本思想是找到一个最优的超平面，使得超平面两侧的样本点距离最大化，从而实现良好的分类效果。
matlab永磁同步电机反馈试验装置的设计和永磁同步电机仿真
qingfengxd1的博客
07-21 551
在后文，针对本文研究的对象-永磁同步电机，着重分析了他的数学模型，建立了数学关系，针对永磁电机使用了矢量控制。针对反馈试验，设计了仿真模型。采用了2个电机输出轴相互连接的方式，即设置两个电机的输出互为负载，即电机1的输出轴连接到电机2的负载端口，电机2的输出轴连接到电机1的负载端口为了避免转矩为0，在matlab/Simulink模型中进行了仿真分析，查看负载结果，发现两个负载的跟随性好。论文对电机测试平台的发展现状、趋势以及能量回馈技术的技术实现等进行了深入研究，基本完成了电机试验平台的搭建。
AttributeError: module 'tensorflow.python.profiler.profiler_v2' has no attribute 'experimental'
01-18
根据提供的引用内容，错误提示是"AttributeError: module 'tensorflow.python.profiler.profiler_v2' has no attribute 'experimental'"。这个错误通常发生在使用TensorFlow的过程中，可能是因为你正在尝试访问一个不存在的属性。 为了解决这个问题，你可以尝试以下几种方法： 1. 检查TensorFlow版本：首先确保你正在使用的是最新版本的TensorFlow。你可以使用以下命令检查版本： ```python import tensorflow as tf print(tf.__version__) ``` 如果你的版本较旧，可以尝试升级到最新版本。 2. 检查属性名称：检查你是否正确地引用了属性名称。在TensorFlow的不同版本中，属性名称可能会有所不同。你可以查看TensorFlow的官方文档或使用`dir()`函数来查看可用的属性列表： ```python import tensorflow as tf print(dir(tf.python.profiler.profiler_v2)) ``` 确保你正在使用的属性名称是正确的。 3. 检查模块导入：确保你正确地导入了所需的模块。在这种情况下，你需要导入`tensorflow.python.profiler.profiler_v2`模块。你可以使用以下代码进行导入： ```python from tensorflow.python.profiler import profiler_v2 ``` 然后，你可以使用`profiler_v2`模块来访问属性。 请注意，根据你的具体情况，可能需要进一步调查和尝试其他解决方法。如果你能提供更多的上下文信息，我可以给出更具体的建议。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值