（西瓜书）多元线性回归公式推导

目录

一、线性回归概述：

二、数学知识储备：

三、证明损失函数  是关于  的凸函数 ：

四、求解  :

---

 

 

一、线性回归概述：

上文 ： https://blog.csdn.net/qq_42185999/article/details/102941535  中我们推导了线性回归中最简单的情形：即输入属性的目只有一个。下面我们来推导更一般的情形：即样本由 d 个属性描述。

 

给定数据集    ， 其中   ，  ，线性回归试图学得： ，使得    . 这称为 “多元线性回归” 。

 

为了便于讨论，我们把 w 和 b 吸收入向量形式  ,

     =                   

              =      

              =      

              =      

              =       

              =       

 

相应的，把数据集 D 表示为一个 m*(d+1) 大小的矩阵 X ，其中每行对应于一个示例，该行前 d 个元素对应于示例的 d 个属性值，最后一个元素恒置为 1 ，即：

                              

再把标记也写成向量形式 ： 

则损失函数：     =     

                              =     

                              =                            

下面对上式进行化简：

          

又因为：

               （这里不大明白的话可以往上翻翻）

所以：

          

 

   =      

        =                              

（此即为西瓜书式 3.9 后面的部分）

 

 

 

二、数学知识储备：

 

凸集定义： 

设集合     ,如果对任意的    与任意的    ， 有         ，则称集合 D 是凸集。

凸集的几何意义是：若两个点属于此集合，则这两点连线上的任意一点均属于此集合。

         

 

 

梯度定义：

设 n 元函数     对自变量      的各分量   的偏导数    （i = 1,2 , ... , n） 都存在，则称函数    在 x  处一阶可导，并称向量   

                                                  

为函数    在  x  处的一阶导数或梯度，记为    （列向量）

 

 

 

Hessian（海塞）矩阵定义：

设 n 元函数    对自变量     的各分量    的二级偏导数      （i = 1,2 , ... , n ；  j = 1,2 , ... , n） 都存在，则称函数    在点 x 处二阶可导，并称矩阵

                           

为   在 x 处的二阶导数或Hessian矩阵，记为  ，若    对 x 各变元的所有二阶偏导数都连续 ， 则    ， 此时    为对称矩阵。

 

 

多元实值函数凹凸性判定定理：

设   是非空开凸集， ， 且    在 D 上二阶连续可微，如果  的 Hessian矩阵  在 D 上是正定的，则   是 D 上的严格凸函数。

 

凸充分性定理：

若  是凸函数，且    一阶连续可微，则    是全局解的充分必要条件是   ， 其中  为 关于 x 的一阶导数（也称梯度）。

 

 

三、证明损失函数  是关于  的凸函数 ：

 

    =       

           =      

           =     

           =     

 

 

【标量-向量】的矩阵微分公式为：

其中，    为 n 维列向量， y 为 x 的 n 元标量函数。

（1）

       （分母布局）【默认采用】

（2）

   （分子布局）

 

 

 

由【标量-向量】的矩阵微分公式可推得：

  

 

 

同理，可推得：

下面简单推导一下：

       =         

                              =        

                              =         

                              =         

                              =         

                              =         

 

 

   =     

由矩阵微分公式    ，    可得：

    =     

            =                     （此即为西瓜书式 3.10 ）

 

 

  =     

               =      

               =   

                 =                  （此即为Hessian（海塞）矩阵 ）

 

Hessian矩阵  在 D 上是正定的，所以损失函数  是关于  的凸函数 。

 

 

四、求解  :

 

令一阶导数等于 0 解出   ：

    =          =    0

        =    0

                                   =    

                                                   =                  （此即为西瓜书式 3.11 ）