矩阵求导

 前提：本文中，$X$为向量，则$X$为列向量，$X^T$为行向量,$x$为标量，即一个数字。

布局

 布局简单的理解就是分子$y$,分母$x$是行向量还是列向量。

• 分子布局：分子为列向量或者分母为行向量，分子为$y$或者分母为$x^T$
  • 分母布局：分子为行向量或者分母为列向量，分子为$y^T$或者分母为$x$
  • 总结：列向量在什么位置，就是什么布局，行向量在什么位置，就不是什么布局

   下面是维基百科中的例子：

  分子布局

  例子1:标量/向量
  

  $$\frac {\partial y}{\partial X} = [\frac {\partial y}{\partial x_1}, \frac {\partial y}{\partial x_2}, \cdots,\frac {\partial y}{\partial x_n}]$$
   特点：分子 $y$ 标量，分母$X$为行向量，是一个标量/向量的形式

  ---

  例子2:向量/标量
  

  $$\frac {\partial Y } {\partial x}= \begin{bmatrix} \frac {\partial y_1 } {\partial x} \\ \frac {\partial y_2 } {\partial x} \\ \vdots\\ \frac {\partial y_m } {\partial x} \end{bmatrix}$$
   特点：分子$Y$为列向量，分母$x$为标量，是一个向量/标量的形式

  ---

  例子3：向量/向量
  

  $$\frac {\partial Y } {\partial X}= \begin{bmatrix} \frac {\partial y_1} {\partial x_{1}} &\frac {\partial y_1} {\partial x_{2}} &\cdots &\frac {\partial y_1} {\partial x_{n}} \\ \frac {\partial y_2} {\partial x_{1}} &\frac {\partial y_2} {\partial x_{2}} &\cdots &\frac {\partial y_2} {\partial x_{n}} \\ \vdots & \vdots &\ddots &\vdots \\ \frac {\partial y_m} {\partial x_{1}} &\frac {\partial y_m} {\partial x_{2}} &\cdots &\frac {\partial y_m} {\partial x_{n}} \\ \end{bmatrix}$$
   特点：分子$Y$为列向量，分母$X$为行向量，矩阵的特点是分子列向量横向平铺，分母为行向量纵向平铺

  ---

  例子4：标量/矩阵
  

  $$\frac {\partial y } {\partial X}= \begin{bmatrix} \frac {\partial y} {\partial x_{11}} &\frac {\partial y} {\partial x_{21}} &\cdots &\frac {\partial y} {\partial x_{p1}} \\ \frac {\partial y} {\partial x_{12}} &\frac {\partial y} {\partial x_{22}} &\cdots &\frac {\partial y} {\partial x_{p2}} \\ \vdots & \vdots &\ddots &\vdots \\ \frac {\partial y} {\partial x_{1q}} &\frac {\partial y} {\partial x_{2q}} &\cdots &\frac {\partial y} {\partial x_{pq}} \\ \end{bmatrix}$$
   特点：分子$y$为标量，分母$X$为矩阵，（注意这个矩阵是转置的）标量/矩阵

  ---

  例子5：矩阵/标量
  

  $$\frac {\partial Y } {\partial x}= \begin{bmatrix} \frac {\partial y_{11}} {\partial x} &\frac {\partial y_{12}} {\partial x} &\cdots &\frac {\partial y_{1n}} {\partial x} \\ \frac {\partial y_{21}} {\partial x} &\frac {\partial y_{22}} {\partial x} &\cdots &\frac {\partial y_{2n}} {\partial x} \\ \vdots & \vdots &\ddots &\vdots \\ \frac {\partial y_{m1}} {\partial x} &\frac {\partial y_{m2}} {\partial x} &\cdots &\frac {\partial y_{mn}} {\partial x} \\ \end{bmatrix}$$
   特点：分子$Y$为矩阵，分母$x$为标量，（这个矩阵不转置） 矩阵/标量

  ---

  分母布局

  例子1：标量/向量
  

  $$\frac {\partial y } {\partial X}= \begin{bmatrix} \frac {\partial y } {\partial x_1} \\ \frac {\partial y } {\partial x_2} \\ \vdots\\ \frac {\partial y } {\partial x_n} \end{bmatrix}$$
   特点：分子 $y$ 标量，分母$X$为列向量，是一个标量/向量的形式

  ---

  例子2：向量/标量
  

  $$\frac {\partial Y}{\partial x} = [\frac {\partial y_1}{\partial x}, \frac {\partial y_2}{\partial x}, \cdots,\frac {\partial y_m}{\partial x}]$$
   特点：分子$Y$为行向量，分母$x$为标量，是一个向量/标量的形式

  ---

  例子3：向量/向量
  

  $$\frac {\partial Y } {\partial X}= \begin{bmatrix} \frac {\partial y_1} {\partial x_{1}} &\frac {\partial y_2} {\partial x_{1}} &\cdots &\frac {\partial y_m} {\partial x_{1}} \\ \frac {\partial y_1} {\partial x_{2}} &\frac {\partial y_2} {\partial x_{2}} &\cdots &\frac {\partial y_m} {\partial x_{2}} \\ \vdots & \vdots &\ddots &\vdots \\ \frac {\partial y_1} {\partial x_{n}} &\frac {\partial y_2} {\partial x_{n}} &\cdots &\frac {\partial y_m} {\partial x_{n}} \\ \end{bmatrix}$$
   特点：分子$Y$为行向量，分母$X$为列向量，矩阵的特点是分子行向量纵向平铺，分母为列向量横向平铺

  ---

  例子4：标量/矩阵
  

  $$\frac {\partial y } {\partial X}= \begin{bmatrix} \frac {\partial y} {\partial x_{11}} &\frac {\partial y} {\partial x_{12}} &\cdots &\frac {\partial y} {\partial x_{1q}} \\ \frac {\partial y} {\partial x_{21}} &\frac {\partial y} {\partial x_{22}} &\cdots &\frac {\partial y} {\partial x_{2q}} \\ \vdots & \vdots &\ddots &\vdots \\ \frac {\partial y} {\partial x_{p1}} &\frac {\partial y} {\partial x_{p2}} &\cdots &\frac {\partial y} {\partial x_{pq}} \\ \end{bmatrix}$$
   特点：分子$y$为标量，分母$X$为矩阵，（注意这个矩阵是未转置的）标量/矩阵

  ---

  总结：

  布局类型	分子	分母	特点	说明
  分子布局	向量(1*1)	标量(1*n)	向量 (1*n)	分母为行向量
  分子布局	标量(1*1)	向量 (n*1)	向量(n*1)	分子为列向量
  分子布局	向量(m*1)	向量(1*n）	矩阵(m*n)	列向量横向平铺，分母行向量纵向平铺
  分子布局	标量(1*1)	矩阵(m*n)	矩阵(n*m)	矩阵是转置的
  分子布局	矩阵(m*n)	标量(1*1）	矩阵(m*n)
  分母布局	标量(1*1)	向量(n*1)	向量(n*1)	分母为列向量
  分母布局	向量(n*1)	标量(1*1)	向量(n*1)	分子为行向量
  分母布局	向量(1*m)	向量(n*1)	向量(n*m)	分子行向量纵向平铺，分母列向量横向平铺
  分母布局	标量(1*1)	矩阵(m*n)	矩阵(m*n)

  一个求导的例子：

  $$\frac{\partial(y-Xw)^T(y-Xw)} {\partial w}$$

   注意：$y$ $w$ 为列向量，$X$为矩阵

  化简

   可以发现，是$u(w)*v(w)$的形式，需要先进行化简，已知：$(A+B)^T=A^T+B^T$且有$(AB)^T=B^TA^T$

  所以，分子化简过程为：
  

  $$\begin{equation} \begin{aligned} {(y-Xw)^T(y-Xw)} &=[y^T-(Xw)^T](y-Xw) \\ &= y^Ty-y^TXw-w^TX^Ty+w^TX^TXw \end{aligned} \end{equation}$$
   所以有
  $$\begin{equation} \begin{aligned} \frac{\partial(y-Xw)^T(y-Xw)} {\partial w} &=\frac{\partial( y^Ty-y^TXw-w^TX^Ty+w^TX^TXw)} {\partial w}\\ &=\frac{\partial( y^Ty)} {\partial w}-\frac{\partial( y^TXw)} {\partial w}-\frac{\partial(w^TX^Ty)} {\partial w}+\frac{\partial( w^TX^TXw)} {\partial w} \end{aligned} \end{equation}$$
  1,$\frac{\partial( y^Ty)} {\partial w}=0$

   说明:$y$是列向量，$y^Ty$是标量，对$w$求导，即分子为标量，分母为标量，所以求导结果是0

  2，$\frac{\partial( y^TXw)} {\partial w}=X^Ty$

   说明：查wiki得知，$\frac {\partial Ax}{\partial x}=A$，其中$A$不是包含x的函数，

  3，$\frac {\partial(w^TX^Ty)} {\partial w}=X^Ty$

   说明：因为分子为标量，标量的转置为其本身，所以对分子进行转置操作，等价于2

  4，$\frac{\partial( w^TX^TXw)} {\partial w}=2X^TXw$

   说明:查wiki得知，$\frac {\partial x^TAx}{\partial x}=2x^TA$,其中$A$是不包含$x$的函数

   整合：

  $$\begin{equation} \begin{aligned} \frac{\partial(y-Xw)^T(y-Xw)} {\partial w} &=\frac{\partial( y^Ty)} {\partial w}-\frac{\partial( y^TXw)} {\partial w}-\frac{\partial(w^TX^Ty)} {\partial w}+\frac{\partial( w^TX^TXw)} {\partial w}\\ &= 0-X^Ty-X^Ty+2X^TXw \\ &= -2X^T(y+Xw) \end{aligned} \end{equation}$$
  注：更多矩阵求导公式参见wiki百科https://en.wikipedia.org/wiki/Matrix_calculus