机器学习-矩阵向量求导

参考博客：
http://blog.csdn.net/nomadlx53/article/details/50849941
参考维基百科：
https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities

上述维基百科关于矩阵、向量求导描述的最清楚明了。其中，有个重要概念（Layout conventions） 布局方式。

问题引出：两向量求导如: ，其中$\mathbf{y}$ 为 m 维列向量，$\mathbf{x}$ 为n维列向量，所求导数是表示成 m行n列矩阵还是 n行m列矩阵呢？

• 分子布局（Numerator-layout）: 分子为 $\mathbf{y}$ 或分母为$\mathbf{x}^{T}$（分子按照列向量布局或分母按照行向量布局）
• 分母布局（Denominator-layout）：分子为$\mathbf{y}^{T}$ 或分母为$\mathbf{x}$(分子按照行向量布局或者分母按照列向量布局)

常用情况为分母布局。