矩阵求导

  矩阵求导是一个在机器学习中经常用到的概念，求导的课程不讲矩阵，矩阵的课程不讲求导，所以这个概念就很尴尬。对于数学基础不好的人来说，还真有点摸不着头脑。
  关键词：布局，求导规则

布局

分子布局：分子不变，分母转置
分母布局：分母不变，分子转置

  很多博客都会提到布局的概念，包括分子布局和分母布局，但只是说用到了哪种布局，没说为什么和适用范围。实际上，这两种布局没什么特殊意义，只是为了表示方便而已，按照自己的习惯使用即可，甚至可以混合使用，前提是自己写清楚。
  一般来说，对于某个特定的求导规则，总会有一种布局会更适合一些，比如$\frac{vector}{vector}$，使用分子布局就很直观，

  如果是$\frac{scalar}{matrix}$的话，分子布局就显得很别扭，

  这种情况下，本身分子就是标量，采用分母布局的话，分子和分母都不转置，更加自然。

求导规则

  求导规则一共有六种，如下：

  每种规则具体的方法参考下面几篇文章:
  矩阵求导常用公式
  矩阵求导简介
  wiki