过度拟合问题(the problem of overfitting)
由上图知,第一个图拟合数据不是很好,这又被称为欠拟合(underfitting)或高偏差(high bias)。
第二个图不错。
第三张图虽然看着过了每个数据,但因为变量过多,该模型无法泛化(即将模型应用到新样本的能力),所以又被称为过度拟合或高方差(high variance)。
解决过度拟合的方法:
一:尽可能减少所选择的特征量,但同时这也意味着我们可能丢失一部分信息,降低假设函数的精度。
二:正则化。
正规化代价函数
通过修改代价函数达到缩小参数的目的。公式如下:
λ
\lambda
λ为正规化参数
正则化线性回归
梯度下降
由上图可知,我们先将
θ
0
\theta_0
θ0和其他
θ
\theta
θ分开,因为j是从1开始的,然后化简
θ
j
\theta_j
θj的公式,得到上图的最后一个公式,这个公式和原公式的差别在于多了
(
1
−
α
λ
m
)
(1-\alpha\frac{\lambda}{m})
(1−αmλ)这个括号内的式子,并且这个式子应该是小于1的,我们可以假设这个式子的值为0.99,因此修改后的就达到了缩小参数的目的。
标准化方程
公式如下:
暂时还没搞懂这一部分怎么缩小参数的(😓)
正则化逻辑回归
代价函数公式如下:
梯度下降公式如下:
虽然这个公式和线性回归的很像,但由于假设函数不同,梯度下降的实质还是不一样的。缩小参数的原理同上。