损失函数一直在波动_炼丹笔记—模型训练损失不收敛解决方案

weixin_39899776

于 2020-11-23 22:07:17 发布

阅读量3k

点赞数

文章标签：损失函数一直在波动模型训练损失值不变深度学习训练出来的损失不收敛

本文介绍了深度学习模型训练中遇到的损失函数波动和不收敛问题，包括loss值恒定在特定数值和在一定范围内振荡的情况。分析了可能的原因，如梯度爆炸，并提出解决方案，如数据归一化和批次标准化。同时推荐了一系列深度学习相关的阅读材料。

摘要由CSDN通过智能技术生成

点击蓝字关注我们

AI研习图书馆，发现不一样的世界

炼丹笔记

深度学习炼丹笔记一

一、问题引入

常见问题1： loss等于87.33，居高不降

如上图所示，在开始训练后， loss升高到87.3365后保持不变。这个问题是因为梯度爆炸导致的。

loss -= log(std::max(prob_data[i * dim + label_value * inner_num_ + j],                     Dtype(FLT_MIN)));

loss等于87.33这个问题，对一些常见分类网络，不管是fine-tuning还是train的时候都会遇到，无论网络迭代多少次，网络的loss一直保持恒定。

查阅相关资料以后发现，在softmax_loss_lay

关注