深度学习 改善训练效果的方法 overfitting改善方法

原创 2015年07月10日 08:58:32

过拟合的实质就是对training date中的数据的自我特征做了高权重保留,导致对testing data验证中的结果不理想,如下示意图所示:


常见的解决方案

choosing proper loss

在选择Softmax作为output layer的时候选择cross entropy作为loss function,选择square时的评价函数平缓,无法评价输出结果利弊。


mini-batch

过小的batch ,一次epoch运行多次,可以减少局部特征的干扰


new activation function

不同深度可以得到不同的结果,过深的layers会导致overfitting,多试试。


adaptice learnign rate

最简单的方法是随着epochs减少learnign rates,原因是在最开始,我们预期离dest较远,随着epochs,离dest越近,所以适当减低leatring rate。


momentum

根据动能和势能的转换关系得到,

  一般,神经网络在更新权值时,采用如下公式:

                                                       w = w - learning_rate * dw

        引入momentum后,采用如下公式:

                                                       v = mu * v - learning_rate * dw

                                                       w = w + v

        其中,v初始化为0,mu是设定的一个超变量,最常见的设定值是0.9。可以这样理解上式:如果上次的momentum(v)与这次的

负梯度方向是相同的,那这次下降的幅度就会加大,从而加速收敛。tensorflow中已经提供了Adam优化函数了。


early stop

检测training & tesitng 的loss 曲线


dropout

在maxout中效果佳,dropout rate随着epoch降低。


weight decay

traning date在input前就可以做些权重比值,对背景干扰赋予低系数。

[DeeplearningAI笔记]改善深层神经网络1.1_1.3深度学习实用层面_偏差/方差/欠拟合/过拟合/训练集/验证集/测试集

觉得有用的话,欢迎一起讨论相互学习~Follow Me1.1 训练/开发/测试集对于一个数据集而言,可以将一个数据集分为三个部分,一部分作为训练集,一部分作为简单交叉验证集(dev)有时候也成为验证集...

深度学习-Overfitting-数据增强Data Augmentation

深度学习-Overfitting解决方法: 人工增加训练集的大小. 通过平移, 翻转, 加噪声等方法从已有数据中创造出一批”新”的数据.也就是Data Augmentation Regularizat...

5.0 深度学习之公式详细推导Softmax和Overfitting

softmax这个结果就可以描述为每个类的概率 故,不会造成学习慢! Overfitting 例如我们利用1000个数据作为训练,表现出的情况: Cost表现看起来还不错,Test的变...

深度学习 14. 深度学习调参,CNN参数调参,各个参数理解和说明以及调整的要领。underfitting和overfitting的理解,过拟合的解释。

深度学习 14. 深度学习调参,CNN参数调参,各个参数理解和说明以及调整的要领。underfitting和overfitting的理解,过拟合的解释。...

深度学习 - 方法及应用

  • 2017年11月18日 22:57
  • 47.03MB
  • 下载

深度学习 14. 深度学习调参,CNN参数调参,各个参数理解和说明以及调整的要领。underfitting和overfitting的理解,过拟合的解释。

转载 原博主博客地址:http://blog.csdn.NET/qq_20259459  和 作者邮箱( jinweizhi93@gmai.com )。 因为最近一直比较忙所以...

深度学习方法及应用完整版

  • 2017年11月02日 11:32
  • 19.99MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习 改善训练效果的方法 overfitting改善方法
举报原因:
原因补充:

(最多只允许输入30个字)