最首先需要明确,F(A)对A求导,是将A视作了自变量,将F(A)视作因变量。自变量的描述形式一般为n行1列的列向量或矩阵,因变量的描述形式一般为1行m列的行向量或矩阵!
向量和矩阵求导的关键在于,找到自变量和因变量,并确定其维度!
本文主要分为三部分:
- 向量部分:所有推理的基础,0-4节。
- 矩阵部分:一句话,结果是超向量,完事了,5-7节。
- 重要公式:如果要推导论文中相关公式,这些公式少不了。第8节。
通用表达中,矩阵采用大写黑体英文,向量使用小写黑体英文。在此基础上,为方便描述,本文采用和参考资料中相同的表示方法, 向量均为列向量,行向量表示为列向量的转置。
0.不言自明的是,向量和矩阵对于任意一个变量的求导,仍为同维度的向量或矩阵。
事实上,这一条在许多矩阵相关的推理证明中非常重要!
1.标量y对列向量x的求导
标量y对列向量x的求导,实际上是求对x中每个元素的偏导数。
标量y对列向量x的求导为n行1列的列向量,和x同维度,每个元素对应表示y对x中对应元素的偏导数。