机器学习（四）过拟合问题

过拟合问题

欠拟合和过拟合

两种情况都会导致不准确，中间这种情况会相对准确一点。

如果我们有太多的特征，会拟合的很好，但是可能不能识别新的数据

1. 减少特征的数量
2. 正则化：保留所有的特征，但减少magnitude/values（权重）

代价函数

使theta3， theta4更小，则theta3， theta4更趋近0才更满足要求，即加入惩罚

theta3， theta4更趋近0，相当于简化模型，函数更平滑更简单

cost函数（约定俗称 从j=1开始）
λ是正则化参数，后边那一堆的作用就是，降低不重要参数的权重，使曲线趋近平缓，由蓝色到红色。

线性回归的正则化

梯度下降优化

因为只对theta_J求导，所以后边增加的那块就不加求和符号了。

每次迭代时，theta_J乘一个比1略小的数，参数缩小一点，其他一样。

正则化优化

增加的矩阵是(n+1)*(n+1)，即1的个数是n个