1. 处理多分类,我采用的是
全连接+relu+最后的softmax
交叉熵加正则化作为loss
loss=cem+tf.add_n(tf.get_collection('losses'))
然后,遇到了loss间隔出现nan,
2.尝试解决方案:
1,清除nan数据,
2. https://www.jianshu.com/p/79ea75c47004这篇文章提到relu和softmax两层不要连着用,最好将relu改成tanh
大致是这样调用tf.nn.relu(tf.matmul(y7,w8)+b8)
于是我把挨着softmax的那层relu改成了tanh。速度变慢了很多,relu误差回传的确速度很快。没有了nan问题
https://blog.csdn.net/zhuiyuanzhongjia/article/details/80576779这篇文章讲了这三个函数