训练网络出现loss突然上升或者直接NaN......

粗略写一下:


解决方式,把初始化方式换掉。。。我们之前用的切断正态分布,,现在考虑下:

http://blog.csdn.net/shuzfan/article/details/51338178


经验说:

1.一般我们都会用优秀的modelzoo参数初始化我们的参数,可能是这个参数值过大的问题。

2.不恰当的loss函数。

待续......


没有更多推荐了,返回首页