线性回归-3-最小二乘法

矩阵求导

假设存在一个从矩阵到实数的映射：$f: \mathbb R^{m \times n} \mapsto \mathbb R$。对于矩阵A我们定义$f(A)$的导数如下(它是输入矩阵的梯度)：

因此$\nabla_A f(A)$也是一个$m\times n$的矩阵。

假如，A到实数的映射$f: \mathbb R^{2 \times 2} \mapsto \mathbb R为:f(A)=\frac{3}{2}A_{11}+5A^2_{12}+A_{21}A_{22}$
因此可得：

引入“迹（trace）”，矩阵A的迹是它的主对角元素的和即：$trA=\sum^n_{i=1}A_{ii}$

下面给出一些已经证明的事实：

$$trAB=trBA \\ trABC=trCBA=trBCA\\ trA=trA^T\\ tr(A+B)=trA+trB\\ traA=atrA\\ \nabla_A trAB=B^T\\ \nabla_AtrABA^AC=CAB+C^TAB^T\\ tra = a$$

进入主题

假设矩阵$X$是一个$m\times n$的样本（如果算上偏置项，X其实应该是一个$m\times (n+1)$的矩阵），其中m代表样本数，n代表每个样本中的属性数。

令$\vec y$表示一个$m\times 1$的向量，用以标记每个$X中每个$样本的实际值（即$h_\theta(x^{(i)})$）。

由$h_\theta(x^{(i)})=(x^{(i)})^T\theta$，我们可得：

$我们知道，对于向量z,有z^Tz=\sum_iz_i^2$，进而可得：

这就是我们的代价函数。
为了能使$J最小化，我们对它求关于\theta偏导数:$

令上面的导数为0最终得到等式：

$$X^TX\theta = X^T\vec y$$
$因此得到使得代价函数最小化的\theta$
$$\theta=(X^T X)^{-1}X^T\vec y$$