矩阵求导

矩阵求导

矩阵求导分为向量对标量求导，标量对向量求导，向量对向量求导。其中我们应主要需要向量对向量求导，求导的结果为雅可比矩阵，雅可比矩阵重要性在于，如果函数f:ℝn→ℝm在点x可微的话，在点x的雅可比矩阵即为该函数在该点的最佳线性逼近。通过雅可比矩阵进而求出该点的最佳线性逼近，进而求出近似值用于矩阵匹配。如果矩阵中携带的是图像数据的二进制代码，则可以通过求导的方式来进行图像匹配。
矩阵求导的推导：

1. 列向量对标量求导：
2. 行向量对标量求导：
3. 标量对列向量求导
4. 标量对行向量求导
5. 列向量对行向量求导
6. 行向量对列向量求导
7. 列向量对列向量求导
8. 行向量对行向量求导
   推导过程如下：
   在正常情况下，两种求导方式得到的结果应该一致，但是根据实际推导的情况来看，两种方式求导得到的结果相差一个转置，所以我最开始暴力的认为向量对标量和标量对向量求导结果一样是导致两种方式求导结果不一致的原因，所以我们需要对标量对向量求导和向量对标量求导的结果进行区分。即：当我们认为标量对向量的求导结果是列向量时，向量对标量的求导就是行向量；当我们认为标量对向量的求导结果是行向量时，向量对标量的求导就是列向量。进而引出两种布局方式。分母布局和分子布局。

在分母布局中，标量a对矩阵A求导，相当于a对A里的每个元素求导，结果跟矩阵A的大小一致，而A对a求导，相当于A里面每个元素对a求导后做个转置。

在分子布局中，a对A求导，相当于a对A里的每个元素求导，再做个转置。而A对a求导，相当于A里每个元素对a求导，结果跟矩阵A的大小一致。