tensorflow训练出现nan的讨论

tensorflow训练神经网络的时候,初学者往往也会遇到网络崩溃的情况.具体的表现是,出现了nan(not a number).
这个情况一般是由于进行交叉熵运算时,出现了$log(0)$.

$$cross\;entropy=-\frac{1}{n}\sum_{}^{n}y_{label}\cdot log(y_{pred})$$
显然,当正确的类别的预测概率十分低的时候,softmax的指数放大,将会导致 $y_{pred}$变成0.

---

解决办法有很多种.

---

1.截断clip

强制让概率大于一个eps,方法有多种

eps = 1e-10
y_clip = tf.clip_by_value(y_pred, eps, 1.0-eps)
#y_clip = tf.clip_by_value(y_pred, eps, 1.0)
#y_clip = y_pred + eps
loss = -tf.reduce_mean(tf.reduce_sum(y_label*tf.log(y_clip),reduction_indices=[1]))

这种做法能避免log(0)的产生.

2.log softmax

我们可以使用数值计算的思想,通过恒等变换去尽量避免数据的精度丢失.
$log(y_{pred})$实际上可以看成是网络输出接连通过softmax和log这两个算符的过程.

$$\begin{eqnarray*} \log(y_{pred}) & = & log(\frac{e^k}{\sum e^i}) \\ & = & log(e^k) - log(\sum e^i) \\ &= & k - log(\sum e^i) \end{eqnarray*}$$

这样的变换避免了softmax中那一步危险的除法,tensorflow中有一个函数实现了这个过程

y_ls = tf.nn.log_softmax(y_pred)
loss = -tf.reduce_mean(tf.reduce_sum(y_label*y_ls,reduction_indices=[1]))

注意,这样做的话,网络的最后一层就不需要有激活函数了.

3.softmax_cross_entropy_with_logits

tensorflow的开发人员专门开发了一个API去解决这个问题.

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=y_pred,labels=y_label))

这个函数会对$y_{pred}$进行softmax操作,然后计算每一个记录的交叉熵.因此,我们还需要reduce_mean去得到总的交叉熵.

注意,这里同样,网络的最后一层不需要有激活函数.
初学者常犯的错误是,网络进行了softmax,再使用softmax_cross_entropy_with_logits去计算交叉熵,得出的loss是错的,并且可能会导致无法训练.