AndrewNg - 线性回归【2】正规方程组

AndrewNg - 线性回归【2】正规方程组

---

梯度下降法是用来计算$J(\theta)$的惯用方法之一，不过通常我们可以通过另一途径取代这种迭代算法。这样思考，如果我们直接对$J$求$\theta$的导数并使其为0，如果可以直接解出$\theta$那不是爽歪歪。

---

1.矩阵求导

对于函数$f\ :\ \mathbb{R}^{m\times n}\mapsto\mathbb{R}$，即从$m\times n$矩阵映射到实数的$f$，定义$f$对于$A$的导数为：

$$\nabla_Af(A)=\begin{bmatrix} \frac{\partial}{\partial A_{11}}&\cdots&\frac{\partial}{\partial A_{1n}} \\ \vdots&\ddots&\vdots \\ \frac{\partial}{\partial A_{m1}}&\cdots&\frac{\partial}{\partial A_{mn}} \\ \end{bmatrix}$$
举个栗子，假如 $A=\begin{bmatrix}A_{11}&A_{12}\\A_{21}&A_{22}\end{bmatrix}$， $f(A)=\frac{3}{2}A_{11}+5A_{12}^2+A_{21}A_{22}$：

$$\nabla_Af(A)=\begin{bmatrix}\frac{3}{2}&10A_{12}\\A_{22}&A_{21}\end{bmatrix}.$$
同时我们还要引进一个迹的概念：