机器学习之——归一化

之前我们讨论了几个机器学习的模型,线性回归模型(Linear Regression)逻辑回归模型(Logistic Regression),这一次我们讨论一下关于模型数据拟合的问题以及归一化方法(Regularization)

过拟合问题(The Problem of Overfitting)

如果我们有非常非常多的特征,我们通过学习得到的假设可能会非常适应训练集(代价函数的值可能几乎为0),但是这样的假设能不能推广使用到新的数据呢?下面有一些例子:


从左至右来看,第一个模型是一个线性模型,拟合度很低,也称作低度拟合(Underfitting),不能很好地适应我们的训练集;第三个模型,是一个四次方的模型,属于过度拟合,虽然能够很好地适应我们的训练集数据,但是在新输入变量进行预测的时候,可能效果会很差;而第二个模型,似乎是最合适的模型。

分类问题(Classification)中,也存在这样的问题:


最后一个模型就是过度拟合的情况。

那么问题出现了,如果我们发现了这样过度拟合的情况,如何处理?

思考后,有两种方式:

1,丢弃一些不能帮助我们正确预测的特征。

  • 可能是手工选择保留哪些特征
  • 或者使用一些模型选择的算法来帮忙(例如 PCA)
2,归一化

  • 保留所有的特征,但是减少参数的大小(Magnitude)

归一化代价函数(Regularization Cost Function)

上面的回归问题中,如果我们使用的模型是:


我们决定要减小ø3和ø4的大小,我们需要做的就是修改代价函数,在其中ø3和ø4的身上,设置一些惩罚(Punishment)。这样做的话,我们在尝试最小化代价时,也需要将这个惩罚代入考虑中,并最终导致选择小一些的ø3和ø4 。 修改之后的代价函数如下:


这样,通过代价函数选择出的ø3和ø4对整个预测结果的影响就比之前小了很多。

加入我们有非常多的特征,我们并不知道其中哪些特征是我们要惩罚的,我们将对所有特征进行惩罚,并且让代价函数最优化的方法来选择惩罚的程度。这样的结果,就得到了一个较为简单的能够防止过度拟合问题的假设:


其中λ又称为归一化参数(Regularization Parameter)

这里注意:根据惯例,我们不会对ø0进行惩罚。

经过归一化处理的模型与原模型的对比可能如下图:


如果选择的归一化参数λ过大,就会把所有参数都最小化了,这样导致模型hø(x)=ø0也就是上图中的红色直线的情况,数据就属于低度拟合。

下回我们讨论,线性逻辑模型的归一化和逻辑回归模型的归一化。

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读