使用MindSpore训练模型中检查代码和超参

代码是精度问题的重要源头，检查代码重在对脚本和代码做检查，力争在源头发现问题。

1. 代码是精度问题的重要源头，超参问题、模型结构问题、数据问题、算法设计和实现问题会体现在脚本中，对脚本做检查是定位精度问题很有效率的手段。检查代码主要依赖代码走读，建议使用小黄鸭调试法：在代码走读的过程中，耐心地向没有经验的“小黄鸭”解释每一行代码的作用，从而激发灵感，发现代码问题。检查脚本时，要注意检查脚本实现（包括数据处理、模型结构、loss函数、优化器等实现）同设计是否一致，如果参考了其它脚本，要重点检查脚本实现同其它脚本是否一致，所有不一致的地方都应该有充分合理的理由，否则就应修改。

2. 检查脚本时，也要关注超参的情况，超参问题主要体现为超参取值不合理，例如

   学习率设置不合理；

   loss_scale参数不合理；

   权重初始化参数不合理等。

3. MindInsight可以辅助对超参做检查，大多数情况下，SummaryCollector会自动记录常见超参，可以通过MindInsight的训练参数详情功能（如下图）和溯源分析功能查看超参。结合MindInsight模型溯源分析模块和脚本中的代码，可以确认超参的取值，识别明显不合理的超参。如果有标杆脚本，建议同标杆脚本一一比对超参取值，如果有默认参数值，则默认值也应一并比对，以避免不同框架的参数默认值不同导致精度下降或者训练错误。

   

4. 通过MindInsight训练参数详情查看模型超参。