网络训练

最近在训练自己的模型时遇到了一个问题：train_loss:nan，于是我就百度了下。发现导致此问题的原因有这几种：学习率过大，网络问题，损失函数的问题，batch_size过大等，本质上来说就是梯度爆炸导致的训练损失过大等等。然后我就把经典的unet模型代替我的模型，发现可以得到正常的训练损失，因此我判定问题出在我的网络模型上。于是我就把两个模型之间作比较，发现我的模型少了BN和relu操作，于是我在每一层相应的位置上加上这两个操作，但是train_loss依然为nan,而且预测图准确率很低，跟原本数据集感觉没什么差距！看着这一个一个的nan,我是真的难了。就这样我浪费了一个下午的时间也没解决问题。第二天的时候我又继续百度，搜到的答案也跟前一天的如出一辙，后来我再从原始unet模型上找找差别，发现最后一层有惊喜，原来我没在自己的网络最后一层加上sigmoid函数处理，怪不得loss一直都是nan.最后加上后loss终于不再是nan了。
中间还遇到的一个问题就是BN操作，我发现在BN函数中，track_running_stats=False会比其为True的分割效果好很多，具体是为什么我也不太清楚！
最终问题能解决还是很开心的，继续加油！