矩阵的求导

前言

在学习机器学习、深度学习的过程中曾多次遇到矩阵求导，所以对矩阵求导进行了简要学习，并记录相应笔记。
参考视频：空狐公子讲的矩阵求导(分母布局)。

---

1. 矩阵求导本质

矩阵求到的本质：
矩阵A对矩阵B求导实际上是矩阵A中的每个元素分别对矩阵B中的每个元素进行求导。

数量分析：

标量函数与向量函数：

2. 矩阵求导原则

以分母布局为例介绍矩阵求导原则：
原则1：

原则2：

拓展：

3. 示例

公式一：

半证明：

公式二：

半证明：

4. 最小二乘估计

5. 有用的公式

6. 说明

1. 矩阵求导布局方式：分母布局、分子布局、混合布局。
2. 布局没有优劣之分，适合问题最好，保持计算的连贯性。
3. 通过导数的维度可以判断别人的矩阵求导布局方式。
4. 如果想更加深入了解矩阵可查阅以下资料

zdaiot博客：
维基百科（矩阵求导）：
吴昌悫, 魏洪增. 矩阵理论与方法【J】. M]. 北京: 电子工业出版社, 2006.

---