机器学习系列 二 - 延伸 overfitting

原创 2018年04月17日 15:59:45
防止过拟合,提高泛化能力的方法

在训练数据不够多,或overtraining时,通常会导致overfitting过拟合。
其直观表现就是如我们在第二课中所看到的宝可梦cp值预测时,过度的增加参数和model的次方,让训练集上的误差虽然逐渐减小,但却在测试集上得不到正确的结果,误差越来越大。
这里引入一个验证集的概念--validation data。在机器学习算法中,我们经常将原始数据分为三种:training data,validation data,testing data。


validation data其实就是用来避免过拟合的,在训练过程中,我们通常用它来确定一些超参数(比如根据validation data上的accuracy来确定early stopping的epoch大小、根据validation data确定learning rate等等)。那为啥不直接在testing data上做这些呢?因为如果在testing data做这些,那么随着训练的进行,我们的网络实际上就是在一点一点地overfitting我们的testing data,导致最后得到的testing accuracy没有任何参考意义。因此,training data的作用是计算梯度更新权重,validation data如上所述,testing data则给出一个accuracy以判断网络的好坏。

那么为了防止overfitting,
避免过拟合的方法有很多:early stopping、增大数据集、正则化(Regularization)包括L1、L2(L2 regularization也叫weight decay),dropout等。

先说L2 Regularization (权重衰减)
L2 正则化,就是在损失函数L 后面再加上一个正则化项, 这里C代表L,C0代表L0.
C0代表原损失函数,后面的λ项就是正则项,他是这么来的:
所有参数w的平方和,除以训练集的样本大小n。 
λ是正则系数
还有一个系数 1/2, 这个主要是为了后面求导数结果方便,因为后面平方项的导数会场生一个2,与二分之一正好抵消。

那么L2正则化是怎么避免overfitting的呢?
下面推导:
可以看到L2正则化项对于b的更新没有影响,但是对于w的更新有影响
将w的更新带入梯度下降的更新方程进行计算

可以看出,在不使用L2正则化时,求导过程中w前的系数是1, 使用L2正则化之后系数变为, 因为η、λ、n都是正的,所以的值小于1, 也就是说w前面的系数变成小于1的数,也就是所谓的权重衰减(weight decay)。当然,考虑后面的导数项,w最终的值可能增大也可能减小。


到目前为止,我们只是解释了L2正则化项有让w“变小”的效果,但是还没解释为什么w“变小”可以防止overfitting?一个所谓“显而易见”的解释就是:更小的权值w,从某种意义上说,表示网络的复杂度更低,对数据的拟合刚刚好(这个法则也叫做奥卡姆剃刀),而在实际应用中,也验证了这一点,L2正则化的效果往往好于未经正则化的效果。当然,对于很多人(包括我)来说,这个解释似乎不那么显而易见,所以这里添加一个稍微数学一点的解释(引自知乎):

过拟合的时候,拟合函数的系数往往非常大,为什么?如下图所示,过拟合,就是拟合函数需要顾忌每一个点,最终形成的拟合函数波动很大。在某些很小的区间里,函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值(绝对值)非常大,由于自变量值可大可小,所以只有系数足够大,才能保证导数值很大。
而正则化是通过约束参数的范数使其不要太大,所以可以在一定程度上减少过拟合情况。


L1 regularization

在原始的代价函数后面加上一个L1正则化项,即所有权重w的绝对值的和,乘以λ/n(这里不像L2正则化项那样,需要再乘以1/2,具体原因上面已经说过。)

同样先计算导数:

上式中sgn(w)表示w的符号。那么权重w的更新规则为:

比原始的更新规则多出了η * λ * sgn(w)/n这一项。当w为正时,更新后的w变小。当w为负时,更新后的w变大——因此它的效果就是让w往0靠,使网络中的权重尽可能为0,也就相当于减小了网络复杂度,防止过拟合。

另外,上面没有提到一个问题,当w为0时怎么办?当w等于0时,|W|是不可导的,所以我们只能按照原始的未经正则化的方法去更新w,这就相当于去掉η*λ*sgn(w)/n这一项,所以我们可以规定sgn(0)=0,这样就把w=0的情况也统一进来了。(在编程的时候,令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1)



Dropout

L1、L2正则化是通过修改代价函数来实现的,而Dropout则是通过修改神经网络本身来实现的,它是在训练网络时用的一种技巧(trike)。它的流程如下:

假设我们要训练上图这个网络,在训练开始时,我们随机地“删除”一半的隐层单元,视它们为不存在,得到如下的网络:

保持输入输出层不变,按照BP算法更新上图神经网络中的权值(虚线连接的单元不更新,因为它们被“临时删除”了)。

以上就是一次迭代的过程,在第二次迭代中,也用同样的方法,只不过这次删除的那一半隐层单元,跟上一次删除掉的肯定是不一样的,因为我们每一次迭代都是“随机”地去删掉一半。第三次、第四次……都是这样,直至训练结束。

以上就是Dropout,它为什么有助于防止过拟合呢?可以简单地这样解释,运用了dropout的训练过程,相当于训练了很多个只有半数隐层单元的神经网络(后面简称为“半数网络”),每一个这样的半数网络,都可以给出一个分类结果,这些结果有的是正确的,有的是错误的。随着训练的进行,大部分半数网络都可以给出正确的分类结果,那么少数的错误分类结果就不会对最终结果造成大的影响。

更加深入地理解,可以看看Hinton和Alex两牛2012的论文《ImageNet Classification with Deep Convolutional Neural Networks》



数据集扩增(data augmentation)

“有时候不是因为算法好赢了,而是因为拥有更多的数据才赢了。”

不记得原话是哪位大牛说的了,hinton?从中可见训练数据有多么重要,特别是在深度学习方法中,更多的训练数据,意味着可以用更深的网络,训练出更好的模型。

既然这样,收集更多的数据不就行啦?如果能够收集更多可以用的数据,当然好。但是很多时候,收集更多的数据意味着需要耗费更多的人力物力,有弄过人工标注的同学就知道,效率特别低,简直是粗活。

所以,可以在原始数据上做些改动,得到更多的数据,以图片数据集举例,可以做各种变换,如:

  • 将原始图片旋转一个小角度

  • 添加随机噪声

  • 一些有弹性的畸变(elastic distortions),论文《Best practices for convolutional neural networks applied to visual document analysis》对MNIST做了各种变种扩增。

  • 截取(crop)原始图片的一部分。比如DeepID中,从一副人脸图中,截取出了100个小patch作为训练数据,极大地增加了数据集。感兴趣的可以看《Deep learning face representation from predicting 10,000 classes》.

    更多数据意味着什么?

用50000个MNIST的样本训练SVM得出的accuracy94.48%,用5000个MNIST的样本训练NN得出accuracy为93.24%,所以更多的数据可以使算法表现得更好。在机器学习中,算法本身并不能决出胜负,不能武断地说这些算法谁优谁劣,因为数据对算法性能的影响很大。






Python 数据挖掘与机器学习基础

-
  • 1970年01月01日 08:00

机器学习—过拟合overfitting

今天在知乎上看到一个问题:人脑有海量的神经元(参数),为什么没有过拟合?面对各个网友的回答,突然发现自己对于过拟合的概念似乎理解的不是很透彻,或者说之前就没有完全理解透。其中有个人这么说“样本少fea...
  • Dream_angel_Z
  • Dream_angel_Z
  • 2015-10-04 20:31:30
  • 5649

机器学习中overfitting的理解

对于过拟合一直都不太明白。然后在深度学习中又见overfitting,这下就下定决心去学习一下!!!哈哈,多学点总不会错的 step1.明白什么是overfitting? overfitting是一种...
  • jingtingxu369
  • jingtingxu369
  • 2015-11-12 22:00:52
  • 1177

机器学习笔记05:正则化(Regularization)、过拟合(Overfitting)

说明:文章中的所有图片均属于Stanford机器学习课程 (一)过拟合问题(The Problem of Overfitting) 不管是在线性回归还是在逻辑回归中,我们都会遇到过拟合的问题。...
  • Artprog
  • Artprog
  • 2016-04-30 20:01:58
  • 7107

[机器学习]overfitting 和regularization

overfitting,见下图。就是说,你的model太好了,好到只对training data有用,而test data可能并不待见。 原因就是如图所说,太多feature,可能这...
  • aFeiOnePiece
  • aFeiOnePiece
  • 2015-08-17 01:05:58
  • 1227

【机器学习系列之二】逻辑回归(LR,Logistic Regression)

起源 模型原理 2.1 问题转换 2.2 损失函数-真实值与计算值的关系 2.3 参数求解方法-梯度下降法 模型优化 3.1 过拟合于欠拟合 3.2 正则化 实践应用案例 4.1 微额借款...
  • qq_39422642
  • qq_39422642
  • 2017-10-19 11:26:12
  • 367

斯坦福机器学习-week 3 学习笔记(3)—— 解决Overfitting

keyword: Overfitting ,Regularization 目录 一.Overfitting的定义 二.解决Overfitting的方法 三.Regulariza...
  • shengno1
  • shengno1
  • 2014-01-30 11:56:30
  • 4716

机器学习中:过拟合(overfitting)和欠拟合(underfitting)

It’s not enough for a machine learning algorithm to optimize its cost on your data set. If your algo...
  • zzz7290
  • zzz7290
  • 2014-07-15 12:03:14
  • 1220

underfitting and overfitting

过拟合(或者叫做高方差:high variance):简单的理解就是参数太多,训练集太少,过拟合的结果是训练误差会非常小,因为我们的参数很多,可以很好的拟合几乎所有的训练数据,但是,过拟合情况下,模型...
  • linzhineng44
  • linzhineng44
  • 2016-03-12 20:12:50
  • 573

NTU-Coursera机器学习:过拟合(Overfitting)与正规化(Regularization)

噪音与数据规模我们可以理解地简单些:有噪音时,更复杂的模型会尽量去覆盖噪音点,即对数据过拟合!这样,即使训练误差Ein 很小(接近于零),由于没有描绘真实的数据趋势,Eout 反而会更大。即噪音严重误...
  • utimes
  • utimes
  • 2015-04-26 18:38:50
  • 3058
收藏助手
不良信息举报
您举报文章:机器学习系列 二 - 延伸 overfitting
举报原因:
原因补充:

(最多只允许输入30个字)