一些矩阵向量求导的例子

全部公式的推导基于 矩阵求导公式 $dY=tr((\frac{\partial Y}{\partial X}{)}^{T}dX)$ 和 矩阵求导的微分法，属于标量对矩阵/向量的求导法则范畴

1.（单样本）多元logistic回归–softmax回归（一）

二元 logistic 和多元 logistic 的区别，参数是向量 $w$ 还是矩阵 $W$
$$l=-{\mathbf{y}}^T\log (softmax(W\mathbf{x}))，求\frac{\partial l}{\partial W}$$
其中：
$$\begin{array}{rl}& softmax(\mathbf{a})=\frac{\exp (\mathbf{a})}{1^T\exp (\mathbf{a})}=\frac{\exp (\mathbf{a})}{{\sum }_{\exp (\mathbf{a})}}，分母是个标量\\ & \log \frac{\mathbf{u}}{c}=\log (\mathbf{u})-1\log (c)，c是标量，\mathbf{u}是向量，向量1和\mathbf{u}同型，实质是对向量的逐元素运算\\ & {\mathbf{y}}^{T}1=1，是向量的内积\\ & 1^T(\mathbf{u}\odot \mathbf{v})={\mathbf{u}}^T\mathbf{v}，哈达玛积转换为向量内积\end{array}$$
对损失 $l$ 的变换：
$$\begin{array}{rl}l& =-{\mathbf{y}}^T\log \frac{\exp (W\mathbf{x})}{1^T\exp (W\mathbf{x})}\\ & =-{\mathbf{y}}^T[\log (\exp (W\mathbf{x}))-1\log (1^T\exp (W\mathbf{x}))]\\ & =-{\mathbf{y}}^T\log (\exp (W\mathbf{x}))+{\mathbf{y}}^{T}1\log (1^T\exp (W\mathbf{x}))\\ & =-{\mathbf{y}}^{T}W\mathbf{x}+\log (1^T\exp (W\mathbf{x}))\end{array}$$
因为$l$ 是标量，所以 $tr(l)=l，dtr(l)=tr(dl)$，对$W$进行微分：
$$\begin{array}{rl}dl& =-{\mathbf{y}}^{T}d(W)\mathbf{x}+\frac{d[1^T\exp (W\mathbf{x})]}{1^T\exp (W\mathbf{x})}，分母是标量\\ & =-{\mathbf{y}}^{T}dW\mathbf{x}+\frac{1^{T}d[\exp (W\mathbf{x})]}{1^T\exp (W\mathbf{x})}\\ & =-{\mathbf{y}}^{T}dW\mathbf{x}+\frac{1^T(\exp (W\mathbf{x})\odot (dW\mathbf{x}))}{1^T\exp (W\mathbf{x})}\\ & =-{\mathbf{y}}^{T}dW\mathbf{x}+\frac{\exp (W\mathbf{x}{)}^T(dW\mathbf{x})}{1^T\exp (W\mathbf{x})}，哈达玛积转换为向量内积\end{array}$$
微分的迹变换：
$$\begin{array}{rl}dl& =tr(-{\mathbf{y}}^{T}dW\mathbf{x}+\frac{\exp (W\mathbf{x}{)}^T(dW\mathbf{x})}{1^T\exp (W\mathbf{x})})\\ & =tr(-{\mathbf{y}}^{T}dW\mathbf{x})+tr\left(\frac{\exp (W\mathbf{x}{)}^T(dW\mathbf{x})}{1^T\exp (W\mathbf{x})}\right)\\ & =tr(-\mathbf{x}{\mathbf{y}}^{T}dW)+tr(softmax(W\mathbf{x}{)}^T(dW\mathbf{x}))\\ & =tr(-\mathbf{x}{\mathbf{y}}^{T}dW)+tr(\mathbf{x}softmax(W\mathbf{x}{)}^{T}dW)\\ & =tr(\mathbf{x}[softmax(W\mathbf{x}{)}^T-{\mathbf{y}}^T]dW)\\ & =tr((\frac{\partial l}{\partial W}{)}^{T}dW)\end{array}$$
所以 $$\frac{\partial l}{\partial W}=(\mathbf{x}[softmax(W\mathbf{x}{)}^T-{\mathbf{y}}^T]{)}^T=[softmax(W\mathbf{x})-\mathbf{y}]{\mathbf{x}}^T$$

\qquad

2.（单样本）带有一个隐藏层的神经网络–softmax回归（二）

$$\begin{array}{rlr}{\mathbf{z}}_{p,1}^{(1)}& =& W_{p,n}^{(1)}{\mathbf{x}}_{n,1}+{\mathbf{b}}_{p,1}^{(1)}\\ {\mathbf{a}}_{p,1}^{(1)}& =& h({\mathbf{z}}^{(1)})\\ {\mathbf{z}}_{q,1}^{(2)}& =& W_{q,p}^{(2)}{\mathbf{a}}^{(1)}+{\mathbf{b}}_{q,1}^{(2)}\\ {\mathbf{a}}_{q,1}^{(2)}& =& g({\mathbf{z}}^{(2)})\\ l=l(W^{(1)},W^{(2)},b^{(1)},b^{(2)})& =& -{\mathbf{y}}^T\ln {\mathbf{a}}^{(2)}\end{array}$$
${\mathbf{x}}_{n,1}$ 为输入的单个样本，有 $n$ 个特征，最后输出 $q$ 个类别的预测概率，$n,p,q$ 分别为输入层、隐藏层、输出层的神经元个数，$h、g$ 分别为两个激活函数，Latex 公式的第二个&是右对齐

求 $$\frac{\partial l}{\partial W^{(1)}}、\frac{\partial l}{\partial {\mathbf{b}}^{(1)}}、\frac{\partial l}{\partial W^{(2)}}、\frac{\partial l}{\partial {\mathbf{b}}^{(2)}}$$

2.1 误差反向传播到倒数第一层，求第一个误差 ${\mathbf{\delta }}^{(2)}$

$${\mathbf{\delta }}^{(2)}=\frac{\partial l}{\partial {\mathbf{z}}^{(2)}}$$
对 ${\mathbf{a}}^{(2)}$ 求微分：
$$dl=-{\mathbf{y}}^{T}d(\ln {\mathbf{a}}^{(2)})激活函数h不确定，log的对象是向量，不会求微分！！$$
若确定 $g$ 为softmax激活函数，神经网络为softmax回归的两层网络实现（多变换一次），则根据上个问题的求解，
$$\begin{array}{rl}l& =-{\mathbf{y}}^T\log softmax({\mathbf{z}}^{(2)})\\ & =-{\mathbf{y}}^T\log \frac{\exp ({\mathbf{z}}^{(2)})}{1^T\exp ({\mathbf{z}}^{(2)})}\\ & =-{\mathbf{y}}^T[\log (\exp ({\mathbf{z}}^{(2)}))-1\log (1^T\exp ({\mathbf{z}}^{(2)}))]\\ & =-{\mathbf{y}}^T\log (\exp ({\mathbf{z}}^{(2)}))+{\mathbf{y}}^{T}1\log (1^T\exp ({\mathbf{z}}^{(2)}))\\ & =-{\mathbf{y}}^T{\mathbf{z}}^{(2)}+\log (1^T\exp ({\mathbf{z}}^{(2)}))，参见多元logistic（一）的l的推导\end{array}$$
要求 $\frac{\partial l}{\partial {\mathbf{z}}^{(2)}}$ ，先对 ${\mathbf{z}}^{(2)}$ 求微分：
$$\begin{array}{rl}dl& =tr(-\mathbf{y}d{\mathbf{z}}^{(2)}+\frac{1^T(\exp ({\mathbf{z}}^{(2)})\odot d{\mathbf{z}}^{(2)})}{1^T\exp ({\mathbf{z}}^{(2)})})\\ & =tr(-{\mathbf{y}}^{T}d{\mathbf{z}}^{(2)}+\frac{\exp ({\mathbf{z}}^{(2)}{)}^{T}d{\mathbf{z}}^{(2)}}{1^T\exp ({\mathbf{z}}^{(2)})})\\ & =tr(-{\mathbf{y}}^{T}d{\mathbf{z}}^{(2)})+tr(softmax({\mathbf{z}}^{(2)}{)}^{T}d{\mathbf{z}}^{(2)})\\ & =tr((softmax({\mathbf{z}}^{(2)}{)}^T-{\mathbf{y}}^T)d{\mathbf{z}}^{(2)})\end{array}$$
所以
$$\begin{array}{rl}{\mathbf{\delta }}^{(2)}=\frac{\partial l}{\partial {\mathbf{z}}^{(2)}}& =(softmax({\mathbf{z}}^{(2)}{)}^T-{\mathbf{y}}^T{)}^T\\ & =softmax({\mathbf{z}}^{(2)})-\mathbf{y}\end{array}$$
其中，$softmax({\mathbf{z}}^{(2)}{)}^T=(softmax{\mathbf{z}}^{(2)}{)}^T$

接下来使用复合法则，通过 $\frac{\partial l}{\partial {\mathbf{z}}^{(2)}}$ 求 $\frac{\partial l}{\partial W^{(2)}}$
d l = t r ( ( s o f t m a x ( z ( 2 ) ) T − y T ) d z ( 2 ) ) ，