过拟合及正则化

详情参考斯坦福公开课第三周第7节。

看下图：

       

                           欠拟合                                               合适                                                          过拟合

         相信看了上面的例子就知道欠拟合与过拟合了。欠拟合不能很好的反应训练集；而过拟合过于强调拟合原始

数据，而丢失了算法的本质：预测新数据。从模型函数角度来说，欠拟合时缺少高次自变量或高次自变量参数过小；

而过拟合则相反，自变量次数太高或参数过大。

        相应的解决办法：1.丢弃一些对正确预测没帮助的特征。 可以手工选择保留哪些特征。

                                     2.正则化，减小参数的大小

       例如，原模型：

              

                 如果要减小x3,x4带来的过拟合，可以通过在代价函数中增加对他们的惩罚的方法达到：

                  

                  有时不知道哪些特征要惩罚时，可以对所有特征进行惩罚：

                  

                    其中又被称为正则化参数。