今天学习了数据变换、网络构建和函数式微分的相关知识,学习昇思的过程中学明白了计算机求梯度的底层原理,就是固定住所有参数,对要求的参数施加一个微小的偏移,计算函数输出值的变化,除以偏移量就是梯度,所以,梯度爆炸和梯度消失就是这样产生的。
昇思25天学习打卡营第4天|seaborn_pandas
于 2024-07-01 11:24:49 首次发布
今天学习了数据变换、网络构建和函数式微分的相关知识,学习昇思的过程中学明白了计算机求梯度的底层原理,就是固定住所有参数,对要求的参数施加一个微小的偏移,计算函数输出值的变化,除以偏移量就是梯度,所以,梯度爆炸和梯度消失就是这样产生的。