【温故而知新】线性回归(Linear Regression)

本文主要以下几个角度来讲解线性回归：

• 最小二乘法LSE（矩阵表达，几何意义）
• 概率角度：最小二乘法LSE——noise为Gaussian MLE
• 正则化：
  • L1——Lasso
  • L2——Ridge
• 正则化的几何解释

最小二乘法

定义为：通过给定样本数据集, , ，试图学习到这样的一个模型，使得对于任意的输入特征向量，模型的预测输出能够表示为输入特征向量的线性函数，即满足：

                                             

也可以写成矩阵的形式：

                   

其中，和称为模型的参数。

为了求解线性模型的参数和，首先我们定义损失函数，在回归任务中，常用的损失函数是均方误差：

                   

优化损失函数就是我们的目标，基于均方误差损失函数来求解模型参数的方差，也就是我们熟悉的最小二乘法，最小二乘法的思想其实就是寻找一个超平面，使得训练数据集中的所有样本点到这个超平面的欧式距离最小。

OK，接下来就是优化问题了，如何取优化该损失函数，从而获得最优模型参数和,因为该损失函数是凸函数，根据极值存在的必要条件，我们可以运用解析法进行求解。

下面我们将给出详细的推导求解和的过程：

1. 首先将参数和进行合并，用来进行表示：, 容易知道是维度。

对输入特征向量进行改写，，则全体训练集，可用矩阵进行如下表示：

                   

对输入特征向量的输出标签，可以改写为：

                   

2. 根据1.我们可以知道是一个的列向量，这样模型的预测结果可以写成矩阵形式：

                   

3. 根据1和2，损失函数可以转化为矩阵形式：

                   

                             

                                      

根据极值存在的必要条件，下面进行对参数的求导：

Method 1:

      

                       ,这里的