过拟合问题,通常会考虑两种途径来解决:a) 减少特征的数量:b) 正则化.

转载 2015年11月18日 10:50:48

http://52opencourse.com/133/coursera%E5%85%AC%E5%BC%80%E8%AF%BE%E7%AC%94%E8%AE%B0-%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AC%AC%E4%B8%83%E8%AF%BE-%E6%AD%A3%E5%88%99%E5%8C%96-regularization

斯坦福大学机器学习第七课"正则化“学习笔记,本次课程主要包括4部分:

1)  The Problem of Overfitting(过拟合问题)

2)  Cost Function(成本函数)

3)  Regularized Linear Regression(线性回归的正则化)

4)  Regularized Logistic Regression(逻辑回归的正则化)

以下是每一部分的详细解读。

1)  The Problem of Overfitting(过拟合问题)

拟合问题举例-线性回归之房价问题:

a) 欠拟合(underfit, 也称High-bias)

b) 合适的拟合:

c) 过拟合(overfit,也称High variance)

什么是过拟合(Overfitting):

如果我们有非常多的特征,那么所学的Hypothesis有可能对训练集拟合的非常好,但是对于新数据预测的很差。

过拟合例子2-逻辑回归:

与上一个例子相似,依次是欠拟合,合适的拟合以及过拟合:

a) 欠拟合

b) 合适的拟合

c) 过拟合

如何解决过拟合问题:

首先,过拟合问题往往源自过多的特征,例如房价问题,如果我们定义了如下的特征:

那么对于训练集,拟合的会非常完美:

所以针对过拟合问题,通常会考虑两种途径来解决:

a) 减少特征的数量:

-人工的选择保留哪些特征;

-模型选择算法(之后的课程会介绍)

b) 正则化

-保留所有的特征,但是降低参数的量/值;

-正则化的好处是当特征很多时,每一个特征都会对预测y贡献一份合适的力量;

2)  Cost Function(成本函数)

依然从房价预测问题开始,这次采用的是多项式回归:

a) 合适的拟合:

b) 过拟合

直观来看,如果我们想解决这个例子中的过拟合问题,最好能将的影响消除,也就是让.

假设我们对进行惩罚,并且令其很小,一个简单的办法就是给原有的Cost function加上两个略大惩罚项,例如:

这样在最小化Cost function的时候,

.

正则化:

参数

取小一点的值,这样的优点:

-“简化”的hypothesis;

-不容易过拟合;

对于房价问题:

-特征包括:

-参数包括:

我们对除

以为的参数进行惩罚,也就是正则化:

正式的定义-经过正则化的Cost Function有如下的形式:

其中称为正则化参数,我们的目标依然是最小化

例如,对于正则化的线性回归模型来说,我们选择

来最小化如下的正则化成本函数:

如果将 

 设置为一个极大的值(例如对于我们的问题,设 
)? 那么

-算法依然会正常的工作, 将 

设置的很大不会影响算法本身;

-算法在去除过拟合问题上会失败;

-算法的结构将是欠拟合(underfitting),即使训练数据非常好也会失败;

-梯度下降算法不一定会收敛;

这样的话,除了

,其他的参数都约等于0, 
, 将得到类似如下的欠拟合图形:

关于正则化,以下引自李航博士《统计学习方法》1.5节关于正则化的一些描述:

模型选择的典型方法是正则化。正则化是结构风险最小化策略的实现,是在经验风险上加一个正则化项(regularizer)或罚项(penalty term)。正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化值就越大。比如,正则化项可以是模型参数向量的范数。

正则化符合奥卡姆剃刀(Occam's razor)原理。奥卡姆剃刀原理应用于模型选择时变为以下想法:在所有可能选择的模型中,能够很好地解释已知数据并且十分简单才是最好的模型,也就是应该选择的模型。从贝叶斯估计的角度来看,正则化项对应于模型的先验概率。可以假设复杂的模型有较大的先验概率,简单的模型有较小的先验概率。

3)  Regularized Linear Regression(线性回归的正则化)

线性回归包括成本函数,梯度下降算法及正规方程解法等几个部分,不清楚的读者可以回顾第二课第四课的笔记,这里将分别介绍正则化后的线性回归的成本函数,梯度下降算法及正规方程等。

首先来看一下线性回归正则化后的Cost function:

我们的目标依然是最小化

,从而得到相应的参数
. 梯度下降算法是其中的一种优化算法,由于正则化后的线性回归Cost function有了改变,因此梯度下降算法也需要相应的改变:

注意,对于参数

,梯度下降算法需要区分

同样的正规方程的表达式也需要改变,对于:

X 是m * (n+1)矩阵

y是m维向量:

正则化后的线性回归的Normal Equation的公式为:

假设样本数m小于等于特征数x, 如果没有正则化,线性回归Normal eqation如下:

如果

不可逆怎么办?之前的办法是删掉一些冗余的特征,但是线性回归正则化后,如果
,之前的公式依然有效:

其中括号中的矩阵可逆。

 

4)  Regularized Logistic Regression(逻辑回归的正则化)

和线性回归相似,逻辑回归的Cost Function也需要加上一个正则化项(惩罚项),梯度下降算法也需要区别对待参数\(\theta).

再次回顾一些逻辑回归过拟合的情况,形容下面这个例子:

其中Hypothesis是这样的:

逻辑回归正则化后的Cost Function如下:

梯度下降算法如下:

其中

.

 

image

参考资料:

第七课“正则化”的课件资料下载链接,视频可以在Coursera机器学习课程上观看或下载:https://class.coursera.org/ml
PPT   PDF

李航博士《统计学习方法

http://en.wikipedia.org/wiki/Regularization_%28mathematics%29

http://en.wikipedia.org/wiki/Overfitting

 


过拟合的通俗理解以及解决办法

过拟合的通俗理解以及解决办法
  • cc18868876837
  • cc18868876837
  • 2017年03月11日 13:06
  • 2674

如何防止过拟合?与如何特征选择?

过拟合
  • yezi_1026
  • yezi_1026
  • 2016年10月08日 22:08
  • 1433

有关Pca的使用:样本数目和降维数目的关系

解析Pca中为什么降维后样本数要严格大于特征数
  • mingtian715
  • mingtian715
  • 2017年01月07日 11:43
  • 2455

jquery按钮控制text文本框商品数量增加或减少

jquery按钮控制text文本框商品数量增加或减少,加了很多判断,记录一下 *{margin:0;padding:0;} a,img{border:0;text-decorat...
  • hdchangchang
  • hdchangchang
  • 2013年02月26日 23:45
  • 5530

如何防止过拟合?与如何特征选择?

过拟合
  • yezi_1026
  • yezi_1026
  • 2016年10月08日 22:08
  • 1433

带有增加与减少按钮的数量选择控件QuantityView

带有增加与减少按钮的数量选择控件 用法:     xmlns:app="http://schemas.android.com/apk/res-auto"     android:id="@+id...
  • gundumw100
  • gundumw100
  • 2017年04月10日 19:10
  • 219

浅谈前端性能优化(五)——减少HTTP请求数

1、图片地图 图片地图允许在一个图片上关联多个URL,目标URL取决于用户单击的图片上的位置。 1) 优点: 把多张图片整合到一张图片中,虽然文件的总体大小不变,但可以减少HTTP请求数。 2) 使用...
  • zhouziyu2011
  • zhouziyu2011
  • 2017年05月07日 16:00
  • 1037

带有增加与减少按钮的数量选择控件QuantityView

带有增加与减少按钮的数量选择控件 用法:     xmlns:app="http://schemas.android.com/apk/res-auto"     android:...
  • u013334392
  • u013334392
  • 2016年11月25日 10:10
  • 1253

Matlab优化问题04_2—linprog(高级)

续—>Matlab应用实例(4)—linprog(01基础) 【例5】厂址选择问题 考虑A、B、C三地,每地都出产一定数量的原料,也消耗一定数量的产品(见表9-15)。已知制成每吨产品需3吨原料,...
  • LZX19901012
  • LZX19901012
  • 2015年07月06日 04:31
  • 943

深度学习之二:特征

 关于特征         特征是机器学习系统的原材料,对最终模型的影响是毋庸置疑的。如果数据被很好的表达成了特征,通常线性模型就能达到满意的精度。那对于特征,我们需要考虑什么呢? 4.1、...
  • starzhou
  • starzhou
  • 2015年07月12日 15:01
  • 572
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:过拟合问题,通常会考虑两种途径来解决:a) 减少特征的数量:b) 正则化.
举报原因:
原因补充:

(最多只允许输入30个字)