tensorflow训练神经网络时loss出现nan的问题

最新推荐文章于 2024-07-18 16:06:05 发布

Moelimoe

最新推荐文章于 2024-07-18 16:06:05 发布

阅读量1.8k

点赞数

分类专栏： ML 文章标签： tensorflow python3 神经网络训练

本文链接：https://blog.csdn.net/Moelimoe/article/details/97322764

版权

ML 专栏收录该内容

15 篇文章 0 订阅

订阅专栏

tensorflow训练神经网络时loss出现nan的问题

一般情况下原因是由于优化器上的学习比率learning_rate定义值太大，如：

train_step = tf.compat.v1.train.GradientDescentOptimizer(0.1).minimize(loss)

运行打印loss：

for i in range(100):
    sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
    #这里我们用全部数据来进行train，其实有个forcast GDO只用一部分数据进行训练，能使训练效率更高
    if i % 50:
        print('实际偏差率:',sess.run(loss,feed_dict={xs:x_data,ys:y_data})[0])

其结果为：

实际偏差率: 9477596000000000.0
实际偏差率: inf
实际偏差率: nan
实际偏差率: nan
实际偏差率: nan
实际偏差率: nan
实际偏差率: nan
实际偏差率: nan
......
实际偏差率: nan

将其中learning_rate的值改为0.01或者更小：

train_step = tf.compat.v1.train.GradientDescentOptimizer(0.01).minimize(loss)

结果为：

实际偏差率: 5.9452715
实际偏差率: 5.5919566
实际偏差率: 5.1778126
实际偏差率: 0.023199111
实际偏差率: 0.26209167
实际偏差率: 0.41470975
实际偏差率: 0.47333607
实际偏差率: 0.48828265
实际偏差率: 0.48628327
实际偏差率: 0.47839066
实际偏差率: 0.46885166
实际偏差率: 0.4591693
.......
实际偏差率: 0.014343787