【ModelArts】【训练作业】请问ModealArts平台进行训练时是否自动采用混合精度

问题描述:

【操作步骤&问题现象】

在ModelArts平台,利用Acend-910进行训练时,运行时总会出现如下提示:

There are 308 node/nodes used reduce precision to selected the kernel!

解答:

这个不是错误,一些算子在Ascend上不支持高精度数据类型,MindSpore框架里会插入Cast算子,转成低精度数据类型进行后续计算。这个是跟TBE算子限制有关的,当前Ascend上有float16与float32这两种类型的互转。详细可见源码mindspore/python/mindspore/ops/_op_impl/tbe/下的TBE算子注册信息,比如有的算子只支持float16,当网络里输入float32时,就可能发生类型转换了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值