矩阵求导（标量对矢量求导）

---

前言

矩阵求导的学习记录

---

一、标量对向量求导

标量对向量求导，实际上是标量对向量中的每个元素求偏导，然后再组成一个和向量形状相同的向量。也就是：
$$\frac{\partial y}{\partial \vec{x}}=(\frac{\partial y}{\partial x_1},\frac{\partial y}{\partial x_2}\dots \frac{\partial y}{\partial x_n}{)}^T$$
式中$y$是一个标量，$x=(x_1,x_2\dots x_n{)}^T$为一个n维向量；

二、例子

1.$y=w^T\ast x$

这是在信号处理中比较常见的一种加权求和形式。
实际上我们将其乘积结果展开可以得到：
$y=w_1{x}_1+w_2{x}_2+\dots w_n{x}_n$
那么根据我们以上理论
$$\frac{\partial y}{\partial \vec{x}}=(\frac{\partial w_1{x}_1+w_2{x}_2+\dots w_n{x}_n}{\partial x_1},\frac{\partial w_1{x}_1+w_2{x}_2+\dots w_n{x}_n}{\partial x_2}\dots \frac{\partial w_1{x}_1+w_2{x}_2+\dots w_n{x}_n}{\partial x_n}{)}^T$$
显然
$$\frac{\partial y}{\partial \vec{x}}=(w_1,w_2,\dots ,w_n{)}^T=\vec{w}$$
这样我们得到了第一种形式的导数求法。

2.$y=x^T\ast w$

同理$y=w_1{x}_1+w_2{x}_2+\dots w_n{x}_n$
实际上这个与上一种情况结果一样
$$\frac{\partial y}{\partial \vec{x}}=(w_1,w_2,\dots ,w_n{)}^T=\vec{w}$$

2.$y=x^T\ast A_{n\ast n}\ast x$

这种二次型情况也比较常见，我们将二次型展开写可以得到
$$\begin{array}{rl}y=& a_{11}{x}_1^2+a_{12}{x}_1{x}_2+\cdots +a_{1n}{x}_1{x}_n+\\ & a_{21}{x}_2{x}_1+a_{22}{x}_2^2+\cdots +a_{1n}{x}_1{x}_n+\\ & ⋮\\ & a_{n1}{x}_n{x}_1+a_{n2}{x}_n{x}_2+\cdots +a_{nn}{x}_n^2\end{array}$$

$$\frac{\partial y}{\partial x_1}=(2a_{11}{x}_1+(a_{12}+a_{21})x_2+\cdots +(a_{1n}+a_{n1})x_n)$$$$\frac{\partial y}{\partial x_2}=((a_{12}+a_{21})x_1+2a_{22}{x}_2+\cdots +(a_{2n}+a_{n2})x_n)$$$$\frac{\partial y}{\partial x_n}=((a_{1n}+a_{n1})x_1+(a_{2n}+a_{n2})x_2+\cdots +a_{nn}^2{x}_n)$$
所以
$$\frac{\partial y}{\partial \vec{x}}=\left(\begin{array}{cccc}2a_{11}& a_{12}+a_{21}& \dots & a_{1n}+a_{n1}\\ a_{12}+a_{21}& 2a_{22}& \dots & a_{2n}+a_{n2}\\ ⋮& ⋮& ⋮& ⋮\\ a_{1n}+a_{n1}& a_{2n}+a_{n2}& & 2a_{nn}\end{array}\right)\vec{x}$$
实际上
$$\left(\begin{array}{cccc}2a_{11}& a_{12}+a_{21}& \dots & a_{1n}+a_{n1}\\ a_{12}+a_{21}& a_{22}& \dots & a_{2n}+a_{n2}\\ ⋮& ⋮& ⋮& ⋮\\ a_{1n}+a_{n1}& a_{2n}+a_{n2}& & 2a_{nn}\end{array}\right)=\left(\begin{array}{cccc}{a}_{11}+a_{11}& a_{12}+a_{21}& \dots & a_{1n}+a_{n1}\\ a_{12}+a_{21}& a_{22}+a_{22}& \dots & a_{2n}+a_{n2}\\ ⋮& ⋮& ⋮& ⋮\\ a_{1n}+a_{n1}& a_{2n}+a_{n2}& & a_{nn}+a_{nn}\end{array}\right)=A^T+A$$
故可以得到$$\frac{\partial y}{\partial \vec{x}}=(A^T+A)\vec{x}$$

我们来看前一篇文章中的一个求导。
$$L(w)=w^T\tilde{R}w+\lambda [w^{T}a({\theta }_d)-1]$$
式中$L$为一个标量，$w=(w_1,w_2,\dots ,w_n{)}^T$,$R$为一个实对称矩阵。
要求$\frac{\partial L(w)}{\partial w}$
分成两部分
$$\frac{\partial (w^{T}Rw)}{\partial w}=(R^T+R)w=2Rw$$
$$\frac{\partial (w^{T}a({\theta }_d)-1)}{\partial w}=a({\theta }_d)$$
故最终结果
$$\frac{\partial L(w)}{\partial w}=2\tilde{R}w+\lambda a({\theta }_d)$$

---

总结

主要介绍了常见的几种标量对向量求导，实际上在数字信号处理中和深度学习中，对向量求导很常见。后面有时间继续写。