TensorFlow 入门教程（六） —— 过拟合（overfitting）的解决方法dropout

什么是overfitting？

在机器学习领域，overfitting是一个很常见的问题。如下图，是一个classification问题，正常预测情况应该是，黑色线右边为蓝色区域，海色先左边为红色区域，如果机器学习过于“充分”，用绿色的线非常精准的划分区域，在平常生活中比你高没有黑色线区分效果明显，也就是说黑色线实用性更强。所以，应该尽量避免让机器学习成绿色曲线，黑色曲线更优。

进一步理解，如下图三幅图像，左边的拟合曲线不能较好地表示预测情况，右边的拟合曲线过拟合，中间的拟合曲线则是较为理想的状况。

在tensorflow中如何实现避免 overfitting 呢？

tensorflow中提供了一个强大的功能——dropout，具体实现方法如下：

1 定义 keep_prob （drop保留的比率）并为其占位

keep_prob = tf.placeholder(tf.float32)  #保持部分结果不被dropout

2 为输出加入dropout

 Wx_plus_b = tf.nn.dropout(Wx_plus_b, keep_prob)#drop掉Wx_plus_b的百分之50的结果

3 将 dropout 载入sess中，训练过程选择随机保留部分神经元，训练与测试输出 无dropout，全部保留

for i in range(500):
    # here to determine the keeping probability
    sess.run(train_step, feed_dict={xs: X_train, ys: y_train, keep_prob: 0.5})#载入keep_prob，训练保留的比例为0.5
    if i % 50 == 0:
        # record loss
        train_result = sess.run(merged, feed_dict={xs: X_train, ys: y_train, keep_prob: 1}) #训练结果全部保留，不drop任何数据
        test_result = sess.run(merged, feed_dict={xs: X_test, ys: y_test, keep_prob: 1})
        train_writer.add_summary(train_result, i)
        test_writer.add_summary(test_result, i)

4 运行程序，查看loss图像，具体方法参考

TensorFlow 入门教程（四）可视化工具 tensorboard 的使用方法（二） 利用 tensorboard 可视化整个网络的建造过程以及训练过程

发现未使用 dropout 的 loss图像（第一张图），test 与 train 的输出结果差别较大。

使用dropout之后，两条曲线接近重合，效果较好。

注：以上代码源自网络，只是对其进行分析解读。