正规方程之矩阵求导(Matrix derivatives)

1、背景

最近，开始学习机器学习之旅。我的学习方式是：跟着斯坦福公开课Andrew Ng的讲义和视屏开始学习。

下面，简单介绍一下线性回归下面的普通方程之矩阵求导。
对应英文章节：Linear Regression-->The normal equations-->Matrix derivatives

---

2、矩阵求导公式

$\color{red}{\nabla_AtrAB = B^T}$                                        $(1)$

$\color{red}{\nabla_{A^T}f(A) = (\nabla_Af(A))^T}$                         $(2)$

$\color{red}{\nabla_AtrABA^TC = CAB + C^TAB^T}$        $(3)$

$\color{red}{\nabla_A|A| = |A|(A^{-1})^T}$                              $(4)$

---

3、公式推导

3.1 公式(1)的推导

$知识须知:$
$1、tr为矩阵的迹，即对角线元素之和。tr既然是对角线元素之和，那么矩阵为正方形矩阵。$
$2、\nabla符号为求梯度，实际上就是求导。\nabla_A就是对A矩阵求导。$