AI-统计学习(16)-图解 L1L2正则-凸优化

L1 L2正则-凸优化问题

解决什么问题：解决过拟合

什么叫过拟合？ 模型复杂，数据量小。

                          表现： 训练集好 测试集不好。

  怎么办：减少参数。如何减少呢？数学上叫正则化

              写损失函数的时候  min(损失函数+正则化项) 模型参数会压缩或者减小到0。

结论：q<=1 可得稀疏解

           q>=1 可得压缩解，但不能得稀疏解。

一般讲正则化，都是通过图的角度来讲为什么会有这样的结果。

            凸优化 min( )

条件：损失函数是一个二次损失，正则化项是L1 L2，这就是凸优化问题。

1.原始问题

2.图解凸优化问题

     2.1 X可行域属于凸集

     2.2目标函数为凸函数

    2.3凸函数的定义和性质

3.图解L1正则最优化（正方形；叫L1，因为B向量的1范数）

4.图解L2正则最优化（圆；叫L2，因为B向量的2范数）

 

1.原始问题描述

        目标函数

        约束条件

       要优化的变量

       目标函数

       可行域

 

2.图解凸优化问题

   目标：目标函数最小值 以二维的优化变量为例

             找一个x使得f（x）最小，且x在可行域中。

               

      解释说明：

          

2.1 凸集

    如图所示

     1.任取两点

     2.连线

     3.线依然在集合中

      所以左边是，右边不是。

2.2凸函数

            

   凸函数的定义和性质

   定义：平面切函数，下方的集合是一凸集。

2.3可行域

 

1. 图解L1正则最优化

3.1公式

解释如下：

变为 平方损失项+正则项的表达如下：

图解L2正则最优化

4.1公式