本文介绍了MindSpore的MindInsight工具，用于深度学习训练性能调试。通过迭代轨迹、算子性能、数据准备性能和Timeline组件，用户可以分析训练过程中的性能瓶颈。MindInsight还提供智能助手，给出性能优化建议。具体分析了迭代轨迹的各个阶段，如迭代间隙、前后向计算和迭代拖尾时间，帮助用户定位问题并进行优化。
训练性能
我们从训练列表中选择指定的训练，点击性能调试，可以查看该次训练的性能数据。
如下图所示性能的数据，
在这张训练性能数据表中，
展示了性能数据总览页面，包含了迭代轨迹（Step Trace）、算子性能、数据准备性能和Timeline等组件的数据总体呈现。各组件展示的数据如下：
•
迭代轨迹：将训练step划分为几个阶段，统计每个阶段的耗时，按时间线进行展示；总览页展示了迭代轨迹图。
•
•
算子性能：统计单算子以及各算子类型的执行时间，进行排序展示；总览页中展示了各算子类型时间占比的饼状图。
•
•
数据准备性能：统计训练数据准备各阶段的性能情况；总览页中展示了各阶段性能可能存在瓶颈的step数目。
•
•
Timeline：按设备统计每个stream中task的耗时情况，在时间轴排列展示；总览页展示了Timeline中stream和task的汇总情况。
•
用户可以点击查看详情链接，进入某个组件页面进行详细分析。MindInsight也会对性能数据进行分析，在左侧的智能小助手中给出性能调试的建议。
迭代轨迹分析
使用迭代轨迹分析组件可以快速了解训练各阶段在总时长中的占比情况。迭代轨迹将训练的一个step划分为迭代间隙 (两次step执行的间隔时间)、前向与反向执行、all reduce、参数更新
最低0.47元/天 解锁文章
扫一扫
725
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
