tensorflow中解决过拟合(overfitting)的方法

最新推荐文章于 2021-10-13 19:54:50 发布

幸运六叶草

最新推荐文章于 2021-10-13 19:54:50 发布

阅读量1.2k

点赞数

分类专栏： tensorflow 深度学习 Machine Learning

本文链接：https://blog.csdn.net/AnneQiQi/article/details/103381341

版权

过拟合是机器学习中的常见问题，表现为模型在训练数据上表现良好，但在新数据上表现差。在 TensorFlow 中，Dropout 是一种有效防止过拟合的策略。通过在训练过程中随机关闭一部分神经元，强制模型学习更多的泛化特征。本文通过实例展示了如何在 TensorFlow 中使用 Dropout 层，并通过训练和可视化结果来说明其对缓解过拟合的效果。

摘要由CSDN通过智能技术生成

Overfitting 也被称为过度学习，过度拟合。它是机器学习中常见的问题。举个Classification（分类）的例子。

图中黑色曲线是正常模型，绿色曲线就是overfitting模型。尽管绿色曲线很精确的区分了所有的训练数据，但是并没有描述数据的整体特征，对新测试数据的适应性较差。

举个Regression (回归)的例子：

第三条曲线存在overfitting问题，尽管它经过了所有的训练点，但是不能很好的反应数据的趋势，预测能力严重不足。 TensorFlow提供了强大的dropout方法来解决overfitting问题。

tensorflow解决overfitting的代码示例：

建立 dropout 层

import tensorflow as tf
from sklearn.datasets import load_digits
from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import LabelBinarizer

keep_prob = tf.placeholder(tf.float32)
...
...
Wx_plus_b = tf.nn.dropout(Wx_plus_b, keep_prob)

这里的keep_prob是保留概率，即我们要保留的结果所占比例，它作为一个placeholder，在run时传入，当keep_prob=1的时候，相当于100%保留，也就是dropout没有起作用。下面我们分析一下程序结构，首先准备数据，