标量、向量、矩阵求导

0、符号说明

本文会用到的几个量：
标量：$\rm c$
向量：$n$维列向量 $\boldsymbol x$，$m$维行向量 $\boldsymbol y^T$

$$\boldsymbol x= \left(\begin{matrix} x_1\\ x_2\\ \vdots\\ x_n \end{matrix}\right)$$
$$\boldsymbol y^T=(y_1, y_2\cdots y_m)$$
矩阵： $m\times n$阶矩阵 $\boldsymbol A$
$$\boldsymbol A= \left[ \begin{matrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \vdots & \vdots & \ddots & \vdots\\ a_{m1} & a_{m2} & \cdots & a_{mn}\\ \end{matrix} \right]$$

1、标量与向量之间的求导

1.1 标量对列向量

$$\frac{d\rm c}{d\boldsymbol x}= \left(\begin{matrix} \frac {d\rm c}{dx_1}\\ \frac {d\rm c}{dx_2}\\ \vdots\\ \frac {d\rm c}{dx_n}\\ \end{matrix}\right)\tag 1$$

1.2 标量对行向量

$$\frac{d\rm c}{d\boldsymbol y^T}=(\frac {d\rm c}{dy_1},\frac {d\rm c}{dy_2} \cdots \frac {d\rm c}{dy_m})\tag 2$$

1.3 标量对行、列向量求导的相互转化

(