回归-普通最小二乘法(OLS)解析式推导

导语

    上一篇文章中解释了最小二乘损失函数的由来，本篇将继续向下推导，即系数$W$的推导。

前置知识

    里面用到了几个常见的与矩阵相关的求导公式

$$\frac{\partial X\theta}{\partial X}=X^T$$

$$\frac{\partial \theta^TX}{\partial \theta^T}=X^T$$
$$\frac{\partial \theta^TX}{\partial \theta}=X$$
    关于上述公式的证明，这里不再赘述，可以严格参考向量求导的公式进行推理

推导

    上篇文章中我们定义了损失函数为：

$$J(\theta)={1 \over 2}\sum_{i=1}^m{(\theta^T*x^{(i)}-y^{(i)})^2}$$
$$J(\theta)={1 \over 2}{(X\theta-\vec{y})}^T(X\theta-\vec{y})$$

X是样本矩阵，$\vec{y}$是观测值列向量

    我们将上述$h(\theta)$拆开，得到：

$$J(\theta)={1 \over 2}(\theta^TX^TX\theta-\theta^TX^T\vec{y}-\vec{y}^TX\theta+\vec{y}^T\vec{y})$$
    由于 $h(\theta)$是凸函数，若要 $h(\theta)$取得极小值，则将其对 $\theta$求导，得到：
$$\nabla_{\theta}J(\theta)={1 \over 2}{(X^TX\theta +X^TX\theta-2X^T\vec{y})}=X^TX\theta-X^T\vec{y}$$
令 ${\nabla_{\theta}J(\theta)}=0$，解得:
$$\theta={(X^TX)}^{-1}X^T\vec{y}$$
    至此， $\theta$的解析式求出。在实践中， $X^TX$矩阵的逆通常并不好求，甚至根本不能求逆，一种办法是使用岭回归，加入 $\lambda I$来使其可逆，或者使用梯度下降的方法迭代求参，关于梯度下降将在下一篇文章中进行阐述。