训练自己的数据,输出预测结果很容易出现Nan,表示输出结果不是一个数,not a number, 最有可能是梯度爆炸造成的,解决该问题的思路大概有如下几种:
1、数据归一化(减均值,除方差,或者加入normalization,例如BN、L2 norm等);
2、更换参数初始化方法(对于CNN,一般用xavier或者msra的初始化方法);
训练自己的数据,输出预测结果很容易出现Nan,表示输出结果不是一个数,not a number, 最有可能是梯度爆炸造成的,解决该问题的思路大概有如下几种:
1、数据归一化(减均值,除方差,或者加入normalization,例如BN、L2 norm等);
2、更换参数初始化方法(对于CNN,一般用xavier或者msra的初始化方法);