什么是overfitting?
在机器学习领域,overfitting是一个很常见的问题。如下图,是一个classification问题,正常预测情况应该是,黑色线右边为蓝色区域,海色先左边为红色区域,如果机器学习过于“充分”,用绿色的线非常精准的划分区域,在平常生活中比你高没有黑色线区分效果明显,也就是说黑色线实用性更强。所以,应该尽量避免让机器学习成绿色曲线,黑色曲线更优。
进一步理解,如下图三幅图像,左边的拟合曲线不能较好地表示预测情况,右边的拟合曲线过拟合,中间的拟合曲线则是较为理想的状况。
在tensorflow中如何实现避免 overfitting 呢?
tensorflow中提供了一个强大的功能——dropout,具体实现方法如下:
1 定义 keep_prob (drop保留的比率)并为其占位
keep_prob = tf.placeholder(tf.float32) #保持部分结果不被dropout
2 为输出加入dropout
Wx_plus_b = tf.nn.dropout(Wx_plus_b, keep_prob)#drop掉Wx_plus_b的百分之50的结果
3 将 dropout 载入sess中,训练过程选择随机保留部分神经元,训练与测试输出 无dropout,全部保留
for i in range(500):
# here to determine the keeping probability
sess.run(train_step, feed_dict={xs: X_train, ys: y_train, keep_prob: 0.5})#载入keep_prob,训练保留的比例为0.5
if i % 50 == 0:
# record loss
train_result = sess.run(merged, feed_dict={xs: X_train, ys: y_train, keep_prob: 1}) #训练结果全部保留,不drop任何数据
test_result = sess.run(merged, feed_dict={xs: X_test, ys: y_test, keep_prob: 1})
train_writer.add_summary(train_result, i)
test_writer.add_summary(test_result, i)
4 运行程序,查看loss图像,具体方法参考
TensorFlow 入门教程(四)可视化工具 tensorboard 的使用方法(二) 利用 tensorboard 可视化整个网络的建造过程以及训练过程
发现未使用 dropout 的 loss图像(第一张图),test 与 train 的输出结果差别较大。
使用dropout之后,两条曲线接近重合,效果较好。
注:以上代码源自网络,只是对其进行分析解读。