处理过拟合问题-Regularization

数学中的Regularization是为了解决overfitting问题而引入的一种方法。所谓overfitting就是在一些数学模型中由于过于复杂,有太多的观测参数,以至于一点点微小的误差都回产生巨大的影响,任何微小的数据扰动都会带来巨大的改变。在一些训练模型中用来fitting的data也会因为结构问题而Overfitting。

 

一般来说有两种克服Overfitting的方法:一是补偿模型的某些部分(如Regularization);二是根据潜在的问题提供而外的数据来训练。

 

下面介绍Tikhonov Regularization作为例子。

 

在如下方程中:

Ax = b

要求解x的标准方法是最小二乘法:

Min || Ax – b ||^2

求解这个方程除了overfitting外,还有overdetermined (underdetermined)的问题。所谓overdetermined (underdetermined),是指方程组中未知数的个数与方程数不不一致。如果把一个未知数看成一个自由度的话,每个单独的方程可以看成一个对应的constraint,当constraint的数目比未知数还多时,有可能找不到符合方程组的解;当方程的数目少于未知数时,可能有无穷多组解。显然当A不是方阵的时候肯定overdetermined(underdetermined)的。

A可能是奇异阵,这也是一个问题。

为了获得在某种条件下的解,加入regularization项如下:

|| Ax – b ||^2 + || Rx ||^2

其中,||.||是Euclidean norm,即平方和的根。

在很多情况下,R可以直接取单位阵。加入R之后可解如下:

x = (A^TA + RTR)^(-1)A^Tb

 

一些另外的取法。令R = a*L,L是对称Laplace-Beltrami算子。

L = V^(-1/2) * C * V^(-1/2)

V是一个voronoi area对角阵,C是一个系数对称cotangentweight矩阵。(cot(Betai,j) + cot(Betai,j)^-)/2, Beta是相邻三角形的角度。

 

可以把L作特征值分解,L = QBQ^T,Q为正交矩阵。因为正交矩阵不改变Frobenius norm,所以:

|| RU || = || aLU || = a|| QBQ^TU || = a|| BQ^TU||



一、过拟合:是指因过分强调对训练样本的效果导致过度拟合,使得对未知预测样本效果就会变差的一种情况。

	拟合度就是说这个模型和你想象的理想情况差多少。
	试想如果所有的点都在直线上,一点也没有离开直线,那就说明拟合度很好,是1。就是能够完全解释。
	而现实情况肯定没有这样的。就比如你的努力程度和历次考试成绩,虽然越努力成绩越好,但是你不能保证自己没有失误	啊。这个失误就是残差,但是失误肯定不是主要部分,所以R平方还是很大的。
	R方没有很明确的界限,说什么就是好什么就是不好,有的时候时间序列的拟合程度都不是很好,甚至只有0.3到0.4,所	以要综合来看,没有很确定的界限

二、什么情况下出现过拟合:

  当你拟合的函数中,一些特征权重阶数越高时,过度拟合的情况越有可能发生,反之阶数越小,过拟合发生概率越小,甚至会欠拟合。

  比如有三个拟合函数:

    a0 + a1x1+ a2x2 

     a0 + a1x1+ a2x2 + a3x12 + a4x22

    a0 + a1x1+ a2x2 + a3x12 + a4x22 + a5x13 + a6x23

  则最后这个过拟合的可能最高。

三、如何解决过拟合问题:

1.  将那些特征权重阶数高的特征删除。比如在上面的例子中删除特征x13 、x23。

     删除方式有两种:

  一种:人工查看样本集合筛选

     另一种:有机器学习的规则用于筛选这种特征,后续才会讲到。

2. 正则化:特征全部保留,但特征系数进行最小优化。

     设一般情况下的成本函数为costFucntion(a,x,y)

     为了时特征系数减小,以使axj变小,新的成本函数为 costFunction_reg(a,x,y) = costFunction(a,x,y) + sum(aj2) 

  我们将这种处理叫做正则化

  新增的正则化项为 a02 + a12 + ... + an2,  惯例上不要a02这项(他是1的系数),但即使加上效果影响不大。

四、正则化的线性回归问题

     成本函数:costFunction(a,X,y) = 1/2m *sum((h(a,X)-y).^2), 其中h(a,X)=Xa;

          正则化后:costFunctionReg(a,X,y) = costFunction(a,X,y) + lambda*sum(aj2)

     梯度下降法:aj = aj - 1/m *alpha * ( h(a,X)-y ) * Xj

          正则化后:aj = aj - 1/m * alpha * ( h(a,X)-y ) * Xj  - 1/m * alpha * lambda * aj

     正规方程组解法 a = (XT*X)-1*XT*y

          正则化后:a = (XT*X - lambda * I )-1*XT*y

五、logistic分类问题过拟合解决

  成本函数:costFunction(ha(x),y) = -y*log( ha(x) ) - (1-y)*log( 1- ha(x))

    正则化后:costFunctionReg(ha(x),y) = costFunction(ha(x),y)  +  lambda*sum(aj2)

  梯度下降法:aj =aj - 1/m*(ha(x)-y )* Xj;

    正则化后:aj =aj - 1/m*(ha(x)-y )* Xj -1/m*lambda*a


发布了218 篇原创文章 · 获赞 67 · 访问量 55万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览