矩阵求导学习笔记（一）

总的来说，涉及矩阵和向量的求导不外乎五大类别，
- 向量对标量
- 标量对向量
- 向量对向量
- 矩阵对标量
- 标量对矩阵

1. 向量对标量求导

• 分子布局

向量y--->标量x求导，我们假定所有的向量都是列向量，

在分子布局下表示为，

而在分母布局下表示为，

2.标量对向量求导

3.向量对向量求导

4.标量对矩阵求导

5.矩阵对标量求导

总结，凡是对标量求导，结果的形式都要转置，而标量对向量和矩阵求导则位置保持
不动。这样总结方便我们记忆。

一些常见的求导：

首先，有矩阵A,和向量x

注意到，

于是利用向量对向量求导法则，我们有：

同理，