线性回归损失函数的最优解推导

前言

我的上一篇文章给大家分析了线性回归的损失函数为什么是最小二乘，那么接下来给大家一下简单的演绎一下线性回归损失函数的最优解的推导过程。

场景

假设我们有由 $M$ 个 $N$ 维样本组成的矩阵 $X$ ，其中X的每一行对应一个样本，共 $M$ 个样本，每一列对应样本的一个维度，共 $N$ 维，还有额外的一维常数项，全为 $1$ （这个地方是为了拟合回归方程中的偏置项，不再详细解释）。

解析式推导

上一篇文章得到的线性回归的损失函数为：
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)})-{\hat{y}}^{(i)}{)}^2$$
这里我们写成矩阵的形式：
$$J(\theta )=\frac{1}{2}(X\theta -y{)}^T(X\theta -y)$$
求梯度：
$${\nabla }_{\theta }J(\theta )={\nabla }_{\theta }(\frac{1}{2}(X\theta -y{)}^T(X\theta -y))$$
$$={\nabla }_{\theta }(\frac{1}{2}({\theta }^T{X}^T-y^T)(X\theta -y))$$
$$={\nabla }_{\theta }(\frac{1}{2}({\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}y-y^{T}X\theta +y^{T}y))$$
$$=\frac{1}{2}(X^{T}X\theta +X^{T}X\theta -X^{T}y-X^{T}y)$$
$$=X^{T}X\theta -X^{T}y$$

找驻点，令 ${\nabla }_{\theta }J(\theta )=0$ 可得：
$$X^{T}X\theta -X^{T}y=0$$
$$\Rightarrow X^{T}X\theta =X^{T}y$$
$$\Rightarrow (X^{T}X{)}^{-1}{X}^{T}X\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
$$\Rightarrow (X^{T}X{)}^{-1}(X^{T}X)\theta =(X^{T}X{)}^{-1}{X}^{T}y$$
$$\Rightarrow I\cdot \theta =(X^{T}X{)}^{-1}{X}^{T}y$$
$$\Rightarrow \theta =(X^{T}X{)}^{-1}{X}^{T}y$$
这就是我们求得的参数 $\theta$ 最优解的解析式。

适用性

实际上上述求得的参数 $\theta$ 最优解的解析式又叫做正规方程（Normal Equation），适用场景有限，特别是以下两种情况：

① 样本的特征维度较大（ $10^4$ 以上），此时的计算量巨大。
② $X^{T}X$ 不可逆，此时我们求得的参数 $\theta$ 最优解的解析式无意义。

第一种情况，我们从正规方程的解析式就可以看出来，特征矩阵的维度越大，对于矩阵的乘法和求逆这个运算量是十分庞大的。

第二种情况，事实上我们可以证明矩阵 $X^{T}X$ 是一个半正定矩阵：
对于任意 $n$ 维非零向量 $\vec{u}$ 来说：
$${\vec{u}}^T{X}^{T}X\vec{u}\Rightarrow (X\vec{u}{)}^T(X\vec{u})$$
令 $\vec{v}=X\vec{u}$ :
$$(X\vec{u}{)}^T(X\vec{u})\Rightarrow {\vec{v}}^T\vec{v}\ge 0$$
所以矩阵 $X^{T}X$ 不可逆的情况是存在的！
那么这种情况下我们在原先的正规方程中加入了 $\lambda$ 扰动，使得：
$$\theta =(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$$
而矩阵 $(X^{T}X+\lambda I)$ 被证明是正定的，即它也是可逆的，这里不再赘述。
通过这个改良后的解析式，我们可以很容易就得到带有正则化项的损失函数：
$$L2-Norm\Rightarrow J(\theta )=\frac{1}{2}\sum _{i=1}^m({\theta }_i{x}_i-{\hat{y}}_i{)}^2+\lambda {\theta }_i^2$$
$$L1-Norm\Rightarrow J(\theta )=\frac{1}{2}\sum _{i=1}^m({\theta }_i{x}_i-{\hat{y}}_i{)}^2+\lambda |{\theta }_i|$$
对于以上两种情况我们可以都使用梯度下降法(Gradient Descent)或者牛顿法去求解最优解。