tensorflow之过拟合

原创 2017年01月09日 22:12:41


在神经网络训练中,我们不断的训练,可以得到更符合预期的特征值。但是,训练过度,会产生一个什么效应呢,就是过拟合,英文好像叫overfitting.用人来做比喻,适当的自信很重要,但是自信过度就变成了自负,过拟合和自负差不多。 这样会造成很大的误差。

用一个图来理解:

过拟合.png

第一张到第二张为正常学习,再到第三张,显然已经弯曲了,不符合预期效果,因此,避免过拟合尤为重要。如何避免了?

我最先想到的是减少训练的次数,可能是训练次数过多,这是很容易想到的;再就是训练的数据量,增大数据量。但是这些都并不能从根本上解决这个问题。

官方文单上提供了一个非常好的工具--dropout来解决这个问题,只需要给予它一个不被 drop 掉的百分比,就能很好地降低 overfitting。dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-batch都在训练不同的网络,简单点说就是说有的数据抛弃不要。

下面来个例子说一下这个工具的基本使用:

def dropout(input, keep_prob):
    return tf.nn.dropout(input, keep_prob)
keep_prob = tf.placeholder(tf.float32)

intput通常为权重与偏执的函数关系

keep_prob是drop率,一般0.5的时候效果最好,原因是有大神交叉验证过,说0.5的时候dropout随机生成的网络结构最多,看下面的图。

Drop对比.png

这是我转的一篇深入理解过拟合的博客,可以看看,点击这里

版权声明:本文为博主原创文章,未经博主允许不得转载。

Tensorflow Overfitting过拟合解决方法 Dropput()使用方法

Overfitting过拟合 所谓过拟合,就是指把学习进行的太彻底,把样本数据的所有特征几乎都习得了,于是机器学到了过多的局部特征,过多的由于噪声带来的假特征,造成模型的“泛化性”和识别正确率几乎达...
  • jerry81333
  • jerry81333
  • 2016年11月10日 02:39
  • 2950

tensorflow中如何进行可视化和减轻过拟合

TensorFlow可视化界面与过拟合最近因为一些需要所以做了一个关于TensorFlow如何使用tensorboard进行可视化以及如何减轻模型训练过程中的过拟合现象的小demo。这里就直接发出来供...
  • liuchonge
  • liuchonge
  • 2017年08月15日 10:30
  • 1874

TensorFlow MNIST 手写数字识别之过拟合

1. 过拟合 overfitting 问题什么是过拟合呢?用实际生活中的一个例子来比喻一下过拟合现象. 说白了, 就是机器学习模型于自信. 已经到了自负的阶段了. 那自负的坏处, 大家也知道, 就是在...
  • u012373815
  • u012373815
  • 2017年11月13日 22:23
  • 1930

TensorFlow学习笔记(六):如何理解dropout?

dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-batch都在训练不同的网络。...
  • zeuseign
  • zeuseign
  • 2017年05月25日 19:35
  • 939

[note] deep learning tensorflow lecture 2 notes 深度学习笔记 (2) 解决过拟合

1. linear model complexity Logistic Model is defined as: X*W + b = y parameter W and b should be det...
  • u013805817
  • u013805817
  • 2016年08月07日 11:46
  • 1382

(八)Tensorflow学习之旅——理解过拟合overfitting

上一篇文章中说了dropout可以防止模型训练过拟合,那什么是过拟合呐?转载两篇博客了解一下。     最经典的一个举例是天鹅那个例子: (1)打个形象的比方,给一群天鹅让机器来学习天鹅的特征,经...
  • btbujhj
  • btbujhj
  • 2017年06月19日 16:42
  • 349

Tensorflow学习笔记-过度拟合问题

Tensorflow学习笔记-过度拟合问题   神经网络在训练是,并不是希望模型尽量模拟训练的数据,而是希望模型对未来的数据具有准确的判断。因此,模型在训练数据上的表现并不代表对未来数据的表现。如果...
  • lovelyaiq
  • lovelyaiq
  • 2017年11月23日 22:02
  • 179

tensorflow中正则化防止过拟合以及Batch Normalization

一、正则化正则化原理这里就不介绍了,网上资源有很多,详情可以点击这里(https://zhuanlan.zhihu.com/p/29297934) 但是网上大多数关于正则化的教程太乱,而且有很多代码...
  • supe_king
  • supe_king
  • 2017年10月25日 20:57
  • 325

TensorFlow 曲线拟合

原文:http://www.toutiao.com/a6470402811564655118/?tt_from=copy_link&utm_campaign=client_share&app=news...
  • baixiaozhe
  • baixiaozhe
  • 2017年09月28日 10:58
  • 799

Tensorflow学习系列(一): tensorflow解决问题的思路

如需转载,请注明出处,欢迎加入深度学习群 255568483 Tensorflow的介绍请各位自行google,就不做多的介绍了。 Tensorflow是一个深度学习框架,他和机器学习一样,有其固...
  • vs412237401
  • vs412237401
  • 2017年03月13日 15:53
  • 3280
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:tensorflow之过拟合
举报原因:
原因补充:

(最多只允许输入30个字)