tensorflow训练出现nan的讨论

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ljhandlwt/article/details/77334450

tensorflow训练神经网络的时候,初学者往往也会遇到网络崩溃的情况.具体的表现是,出现了nan(not a number).
这个情况一般是由于进行交叉熵运算时,出现了log(0).

crossentropy=1nnylabellog(ypred)

显然,当正确的类别的预测概率十分低的时候,softmax的指数放大,将会导致ypred变成0.


解决办法有很多种.


1.截断clip

强制让概率大于一个eps,方法有多种

eps = 1e-10
y_clip = tf.clip_by_value(y_pred, eps, 1.0-eps)
#y_clip = tf.clip_by_value(y_pred, eps, 1.0)
#y_clip = y_pred + eps
loss = -tf.reduce_mean(tf.reduce_sum(y_label*tf.log(y_clip),reduction_indices=[1]))

这种做法能避免log(0)的产生.

2.log softmax

我们可以使用数值计算的思想,通过恒等变换去尽量避免数据的精度丢失.
log(ypred)实际上可以看成是网络输出接连通过softmax和log这两个算符的过程.

log(ypred)===log(ekei)log(ek)log(ei)klog(ei)

这样的变换避免了softmax中那一步危险的除法,tensorflow中有一个函数实现了这个过程

y_ls = tf.nn.log_softmax(y_pred)
loss = -tf.reduce_mean(tf.reduce_sum(y_label*y_ls,reduction_indices=[1]))

注意,这样做的话,网络的最后一层就不需要有激活函数了.

3.softmax_cross_entropy_with_logits

tensorflow的开发人员专门开发了一个API去解决这个问题.

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=y_pred,labels=y_label))

这个函数会对ypred进行softmax操作,然后计算每一个记录的交叉熵.因此,我们还需要reduce_mean去得到总的交叉熵.

注意,这里同样,网络的最后一层不需要有激活函数.
初学者常犯的错误是,网络进行了softmax,再使用softmax_cross_entropy_with_logits去计算交叉熵,得出的loss是错的,并且可能会导致无法训练.

展开阅读全文

没有更多推荐了,返回首页