七： 正则化

1 过拟合问题

 观察如下拟合案例：

                                                                 线性回归-三种拟合模型

                                                                逻辑回归-三种拟合模型

       当采用第一种拟合方式，模型较为粗糙，预测值与实际值存在一定的误差；

       当采用第二种拟合方式，模型较为精准的拟合了我们的训练数据；

       当采用第三种拟合方式(使用更完整的特征及多次方)，模型近乎苛刻的完美覆盖了我们的训练数据，预测误差几乎

           接近于0，但是很明显损失了,数据特征，极大的丧尸了预测数据的模型效果，这类情况可理解为过拟合；

      解决方案： 1 丢弃冗余/低效应特征

                         2 正则化。保留特征但减少参数大小

 

 

2 代价函数

如1中所示的过拟合模型为

                                  

造成过拟合的主要因素是高次方项的影响，为了解决这个问题，可以将这些项的和参数一定程度的降低，减少

这些项的影响，基于这个方向，可以将代价函数调整为

                               

添加高次参数项后，为了获得更小的代价值，会计算出更小一些的参数值，可以一定程度的解决过拟合问题；

 

如果无法确定哪些参数需要被处理，我们可以将所有参数都纳入，代价函数可表达如下：

                                             

key1: 通常常数项即参数项0不纳入处理

key2：若正则化参数过大，会导致参数项逼近0，模型逼近 hθ(x)=θ0，导致欠拟合

 

3  正则化线性回归

梯度下降求解：

                          

                        

正规方程求解：

                       

 

 

4  正则化逻辑回归

对逻辑回归问题，我们也加入正则化参数表达式，得到更新的代价函数如下：

                      

梯度下降求解：

                                

 

------------------------------------------------------------------------------------------------------------------------------------

文章内容学习整理于吴教授公开课课程与黄博士笔记，感谢！