7-2 加正则化后的损失函数

避免过拟合——正则化法address

此时的损失函数：

回忆：过拟合主要由于变量多，对应参数多，而样本少，从而出现过分拟合情况

一个思路：使得参数theta取较小的值：

此时策略：

说明：第二项是正则化项，lambda是正则化参数，作用有①抓住第一项，使拟合更好；②是得参数theta更小。正则化参数的目的是在两个作用间寻求一个trade-off。

另外注意：正则化j=1开始，而不是j=0，theta0对结果的影响并不大，可有可无。

此时结果：

结果拟合的更加平滑，自己去尝试，去实现方能更好理解。

关于正则化系数值得设定问题

以线性回归问题的正则化为例：（过拟合问题对于线性回归逻辑回归均存在！！）

分析：lambda取值不能 过大，否则就会完全欠拟合，只剩偏置值theta0.

接下来会讲怎么去自动的选择正则化系数lambda。

自己的一些分析：

关于正则化，此时用作避免过拟合的手段；

在最优化课程的学习中，正则化是对于约束优化问题转化为无约束优化问题时出现的，使最终目标转变为凸优化问题！