矩阵向量求导

原文：https://blog.csdn.net/uncle_gy/article/details/78879131
**注：**不要把它和几何运算或者是向量运算混淆

#前言：

在数学中，矩阵微积分是进行多变量微积分的一种特殊符号，特别是在矩阵的空间上。 它将关于许多变量的单个函数的各种偏导数和/或关于单个变量的多变量函数的偏导数收集到可以被视为单个实体的向量和矩阵中。 这大大简化例如找到多元函数的最大值或最小值，以及求解微分方程组的操作。 这里使用的符号通常用于统计和工程中，而张量指数符号在物理学中是比较常用的。

两种对立的符号（行向量和列向量）把矩阵微积分分成了两个独立的阵营。这两个阵营的区别就是他们把标量的导数以行向量还是列向量写入。以行向量还是列向量写入都是可能的，即使人们通常在和矩阵同时处理的时候是以行向量（而不是列向量）的形式写入。一个简单的约定（使用行向量还是列向量）可能成为某个经常使用矩阵微积分计算的行业的业内标准（比如，经济学，统计学，估计理论，和机器学习）。但是即便是某个固定领域中的作者也可能同时使用这两种书写方式。即使在这个领域中已经有了一个大家都认可的规范书写方式。如果不认真处理这两种书写方式混用的情况，则会导致非常严重的错误。因此必须保证符号一致性，这两种约定和他们的区别在布局约定的时候就已经确定了。

#范围

矩阵微积分是指一组不同的符号，这组符号使用矩阵和向量来收集因变量的每个分量相对于自变量的每个分量的导数。总的来说，自变量可以是标量，向量，或者是一个矩阵，因变量也可以是上述的三者之一。每一种不同的自变量和因变量的组合都有不同的一套运算规则。矩阵符号是一种有组织的可以方便收集很多导数的方式。

作为第一个例子，考虑向量微积分中的梯度运算。对于一个有三个自变量的标量方程，$f(x1,x2,x3)f(x1,x2,x3)f(x_1,x_2,x_3)$3×3=9中可能的相互求导的方式。当然有些方式的结果维度太高，于是结果过于复杂。

下表收集了六种矩阵形式最整齐的求导结果：

形式	标量	向量	矩阵
标量	$\partial y\partial x\partial y\partial x\frac{\partial y}{\partial x}$y的切向量,$\partial y$