tensorflow之过拟合

原创 2017年01月09日 22:12:41


在神经网络训练中,我们不断的训练,可以得到更符合预期的特征值。但是,训练过度,会产生一个什么效应呢,就是过拟合,英文好像叫overfitting.用人来做比喻,适当的自信很重要,但是自信过度就变成了自负,过拟合和自负差不多。 这样会造成很大的误差。

用一个图来理解:

过拟合.png

第一张到第二张为正常学习,再到第三张,显然已经弯曲了,不符合预期效果,因此,避免过拟合尤为重要。如何避免了?

我最先想到的是减少训练的次数,可能是训练次数过多,这是很容易想到的;再就是训练的数据量,增大数据量。但是这些都并不能从根本上解决这个问题。

官方文单上提供了一个非常好的工具--dropout来解决这个问题,只需要给予它一个不被 drop 掉的百分比,就能很好地降低 overfitting。dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-batch都在训练不同的网络,简单点说就是说有的数据抛弃不要。

下面来个例子说一下这个工具的基本使用:

def dropout(input, keep_prob):
    return tf.nn.dropout(input, keep_prob)
keep_prob = tf.placeholder(tf.float32)

intput通常为权重与偏执的函数关系

keep_prob是drop率,一般0.5的时候效果最好,原因是有大神交叉验证过,说0.5的时候dropout随机生成的网络结构最多,看下面的图。

Drop对比.png

这是我转的一篇深入理解过拟合的博客,可以看看,点击这里

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Tensorflow Overfitting过拟合解决方法 Dropput()使用方法

Overfitting过拟合 所谓过拟合,就是指把学习进行的太彻底,把样本数据的所有特征几乎都习得了,于是机器学到了过多的局部特征,过多的由于噪声带来的假特征,造成模型的“泛化性”和识别正确率几乎达...

tensorflow中如何进行可视化和减轻过拟合

TensorFlow可视化界面与过拟合最近因为一些需要所以做了一个关于TensorFlow如何使用tensorboard进行可视化以及如何减轻模型训练过程中的过拟合现象的小demo。这里就直接发出来供...

[note] deep learning tensorflow lecture 2 notes 深度学习笔记 (2) 解决过拟合

1. linear model complexity Logistic Model is defined as: X*W + b = y parameter W and b should be det...

(八)Tensorflow学习之旅——理解过拟合overfitting

上一篇文章中说了dropout可以防止模型训练过拟合,那什么是过拟合呐?转载两篇博客了解一下。     最经典的一个举例是天鹅那个例子: (1)打个形象的比方,给一群天鹅让机器来学习天鹅的特征,经...
  • btbujhj
  • btbujhj
  • 2017年06月19日 16:42
  • 233

tensorflow之dropout解决过拟合问题

在深度学习中,dropout通常用于解决过拟合问题,本文是dropout在tensorflow的一种实现...

TensorFlow神经网络优化策略

在神经网络模型优化的过程中,会遇到许多问题,比如如何设置学习率的问题,我们可通过指数衰减的方式让模型在训练初期快速接近较优解,在训练后期稳定进入最优解区域;针对过拟合问题,通过正则化的方法加以应对;滑...

TensorFlow学习---tf.nn.dropout防止过拟合

一、 Dropout原理简述: tf.nn.dropout是TensorFlow里面为了防止或减轻过拟合而使用的函数,它一般用在全连接层。 Dropout就是在不同的训练过程中随机扔掉一部分神经元...

Tensorflow05-激活函数、优化器、过拟合和Dropout

1.激活函数 激活函数用于在线性组合之后添加非线性因素。在我看来,相当于扩大不同类数据之间的差距。称之为“激活”,就是让一类数据激活一个条件得到一个显著不同的输出。 常见的激活函数有如下: t...

tensorflow学习系列(一)

kaggle上面的项目,猫狗大战 给一个大牛的github:https://github.com/kevin28520/My-TensorFlow-tutorials 这个博客里面主要介绍数据的构...

Tensorflow中把稀疏的数字类别标签转为向量类型并计算loss和accuracy(附对mnist的损失函数值cross_entropy的理解)

对于N个类别,我们的数据中的标签一般是0,1,2,3,4,..n-1这样的数字 而官方的mnist中的标签是向量类型,比如有5类,那么五个标签大概分别是 ( 原谅我忘记自己确不确定了... ) : ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:tensorflow之过拟合
举报原因:
原因补充:

(最多只允许输入30个字)