矩阵求导公式，及MathJax公式编辑

最新推荐文章于 2024-02-06 20:56:25 发布

lilong117194

最新推荐文章于 2024-02-06 20:56:25 发布

阅读量3.2k

点赞数 4

分类专栏：数学基础文章标签：矩阵求导 mathJax 公式编辑向量求导标量求导

本文链接：https://blog.csdn.net/lilong117194/article/details/77418269

版权

数学基础专栏收录该内容

12 篇文章 2 订阅

订阅专栏

最近学到线性回归中要用到向量，矩阵求导，所以就搜集了下资料，总结如下：
矩阵求导有两种布局：
分子布局（numerator layout）
分母布局（denominator layout）

下面用向量y对标量x求导简单说明这两种布局的区别。
我们假定所有的向量都是列向量。

y = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ y 1 y 2 y 3 ⋮ y m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$y=\begin{bmatrix} y_{1}\\ y_{2}\\ y_{3}\\ \vdots \\ y_{m} \end{bmatrix}$
在分子布局下：

\partial y \partial x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial y 1 \partial x \partial y 2 \partial x ⋮ \partial y m \partial x ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\frac{\partial y}{\partial x}=\begin{bmatrix} \frac{\partial y_{1}}{\partial x}\\ \frac{\partial y_{2}}{\partial x}\\ \vdots\\ \frac{\partial y_{m}}{\partial x}\\ \end{bmatrix}$
在分母布局下：

\partial y \partial x = [\partial y 1 \partial x \partial y 2 \partial x \dots \partial y m \partial x]

$\frac{\partial y}{\partial x}=\begin{bmatrix} \frac{\partial y_{1}}{\partial x}& \frac{\partial y_{2}}{\partial x} &\cdots & \frac{\partial y_{m}}{\partial x} \end{bmatrix}$
在下面的推到中，都将采用分母布局，也就是向量（列）对标量求导的结果都是行向量。（采用这种布局的主要原因是向量对向量的求导就是一个矩阵了）

求导的类别

求导大致分为5类：

向量对标量
标量对向量
向量对向量
矩阵对向量
向量对矩阵

矩阵求导的大致规则如下：
对标量求导结果都要转置，而标量对向量或者矩阵求导的话位置不变。

向量对标量：

\partial y \partial x = [\partial y 1 \partial x \partial y 2 \partial x \dots \partial y m \partial x]

标量对向量：

\partial y \partial X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial y \partial x 1 \partial y \partial x 2 ⋮ \partial y \partial x 3 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\frac{\partial y}{\partial X}=\begin{bmatrix} \frac{\partial y}{\partial x_{1}}\\ \frac{\partial y}{\partial x_{2}}\\ \vdots\\ \frac{\partial y}{\partial x_{3}}\\ \end{bmatrix}$
（此时X是向量，y是标量，标量对向量的求导没有转置）

向量对向量求导：

X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ x 1 x 2 x 3 ⋮ x n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$X=\begin{bmatrix} x_{1}\\ x_{2}\\ x_{3}\\ \vdots \\ x_{n} \end{bmatrix}$

y = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ y 1 y 2 y 3 ⋮ y m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$y=\begin{bmatrix} y_{1}\\ y_{2}\\ y_{3}\\ \vdots \\ y_{m} \end{bmatrix}$

\partial y \partial X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial y 1 \partial x 1 \partial y 1 \partial x 2 ⋮ \partial y 1 \partial x n \partial y 2 \partial x 1 \partial y 2 \partial x 2 ⋮ \partial y 2 \partial x n \dots \dots ⋱ \dots \partial y m \partial x 1 \partial y m \partial x 2 ⋮ \partial y m \partial x n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\frac{\partial y}{\partial X}= \begin{bmatrix} \frac{\partial y_{1}}{\partial x_{1}}&\frac{\partial y_{2}}{\partial x_{1}} &\cdots &\frac{\partial y_{m}}{\partial x_{1}}\\ \frac{\partial y_{1}}{\partial x_{2}}& \frac{\partial y_{2}}{\partial x_{2}} & \cdots &\frac{\partial y_{m}}{\partial x_{2}} \\ \vdots & \vdots & \ddots & \vdots & \\ \frac{\partial y_{1}}{\partial x_{n}}& \frac{\partial y_{2}}{\partial x_{n}} & \cdots & \frac{\partial y_{m}}{\partial x_{n}} & \end{bmatrix}$

矩阵对标量求导：

\partial Y \partial x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial y 11 \partial x \partial y 12 \partial x ⋮ \partial y 1 n \partial x \partial y 21 \partial x \partial y 22 \partial x ⋮ \partial y 2 n \partial x \dots \dots ⋱ \dots \partial y m 1 \partial x \partial y m 2 \partial x ⋮ \partial y m n \partial x ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\frac{\partial Y}{\partial x}= \begin{bmatrix} \frac{\partial y_{11}}{\partial x}&\frac{\partial y_{21}}{\partial x} &\cdots &\frac{\partial y_{m1}}{\partial x}\\ \frac{\partial y_{12}}{\partial x}&\frac{\partial y_{22}}{\partial x} &\cdots &\frac{\partial y_{m2}}{\partial x}\\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial y_{1n}}{\partial x}& \frac{\partial y_{2n}}{\partial x} & \cdots &\frac{\partial y_{mn}}{\partial x} \end{bmatrix}$

可以看出转置了。。

标量对矩阵求导：

\partial y \partial X = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial y \partial x 11 \partial y \partial x 21 ⋮ \partial y \partial x p 1 \partial y \partial x 12 \partial y \partial x 22 ⋮ \partial y \partial x p 2 \dots \dots ⋱ \dots \partial y \partial x 1 q \partial y \partial x 2 q ⋮ \partial y \partial x p q ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\frac{\partial y}{\partial X}= \begin{bmatrix} \frac{\partial y}{\partial x_{11}}&\frac{\partial y}{\partial x_{12}} &\cdots &\frac{\partial y}{\partial x_{1q}}\\ \frac{\partial y}{\partial x_{21}}&\frac{\partial y}{\partial x_{22}} &\cdots &\frac{\partial y}{\partial x_{2q}}\\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial y}{\partial x_{p1}}& \frac{\partial y}{\partial x_{p2}} & \cdots & \frac{\partial y}{\partial x_{pq}} \end{bmatrix}$

简单的例子

例1.

y = a T x

$y=a^Tx$
其中，

y∈R,a∈Rn×1,x∈Rn×1 $y\in \mathbb{R}, a\in \mathbb{R}^{n\times1}, x\in \mathbb{R}^{n\times1}$
属于标量对向量求导，所以有：

\partial y \partial x = a

$\frac{\partial y}{\partial x}=a$
其中a是列向量，没有转置

例2.

y = A x

$y=Ax$

y∈Rm×1,A∈Rm×n,x∈Rn×1 $y\in \mathbb{R}^{m\times1}, A\in \mathbb{R}^{m\times n}, x\in \mathbb{R}^{n\times1}$
属于向量对向量求导，所以有：

\partial y \partial x = A T

$\frac{\partial y}{\partial x}=A^T$

例3.

y = A u (x)

$y=Au(x)$
其中，

y∈Rm×1,A∈Rm×n,u∈Rn×1,x∈Rp×1 $y\in \mathbb{R}^{m\times 1}, A\in \mathbb{R}^{m\times n}, u\in \mathbb{R}^{n\times1},x\in \mathbb{R}^{p\times1}$
属于向量对向量的求导，所以有：

\partial y \partial x = \partial u \partial x A T

$\frac{\partial y}{\partial x}=\frac{\partial u}{\partial x}A^T$

如果：

y = a (x) u (x)

$y=a(x)u(x)$
其中：

y∈Rm×1,a∈R,u∈Rm×1,x∈Rn×1 $y\in \mathbb{R}^{m\times 1}, a\in \mathbb{R}, u\in \mathbb{R}^{m\times1},x\in \mathbb{R}^{n\times1}$
属于向量对向量的求导，所以有：

\partial y \partial x = \partial u \partial x a + \partial a \partial x u T

$\frac{\partial y}{\partial x}=\frac{\partial u}{\partial x}a+\frac{\partial a}{\partial x}u^T$

假如已知：

a (x) = B x u (x) = C x

$a(x)=Bx\\u(x)=Cx$
其中：

B∈R1×n,C∈Rm×n $B\in \mathbb{R}^{1\times n}, C\in \mathbb{R}^{m\times n}$
那么，

\partial y \partial x = C T a + B T u T

$\frac{\partial y}{\partial x}=C^Ta+B^Tu^T$

例子4：

f = x T A y (x)

$f=xTAy(x)$
那么，

\partial f \partial x = A y + \partial y \partial x A T x

$\frac{\partial f}{\partial x}=Ay+\frac{\partial y}{\partial x}A^Tx$
其中，

x∈Rm×1,y∈Rn×1,A∈Rm×n,f∈R $x\in \mathbb{R}^{m\times 1}, y\in \mathbb{R}^{n\times 1}, A\in \mathbb{R}^{m\times n},f\in \mathbb{R}$
上面的式子，当y(x)=x时，也就是m=n时。

f \partial f \partial x = x T A x = (A + A T) x

$\begin{align} f&=x^TAx\\ \frac{\partial f}{\partial x}&=(A+A^T)x \end{align}$

例子5：

f = a T x x T b a, b, x \in R m \times 1

$f=a^Txx^Tb \; \;\; a,b,x\in R^{m×1}$
则

\partial f \partial x = a (x T b) + b (a T x) = (a b T + b a T) x

$\frac{\partial f}{\partial x}=a(x^Tb)+b(a^Tx)=(ab^T+ba^T)x$

参考：

http://blog.csdn.net/young_gy/article/details/50008953

常用公式:

$\frac{dUV^T}{dX}=(\frac{dU}{dX})V^T+U(\frac{dV^T}{dX})$

$\frac{dU^TV}{dX}=(\frac{dU^T}{dX})V+(\frac{dV^T}{dX})U^T$

$\frac{dX^T}{dx}=I \,\,\,\,\,\,\;\;\; \frac{dX}{dx^T}=I$

$\frac{d(AX)^T}{dx}=A^T \,\,\,\,\,\,\;\;\; \frac{dAx}{dx^T}=A$

$\frac{dx^TA}{dx}=A \,\,\,\,\,\,\;\;\;$

$\frac{\partial u^Tv}{\partial x}=\frac{\partial u^T}{\partial x}v+\frac{\partial v^T}{\partial x}u^T$

$\frac{\partial uv^T}{\partial x}=\frac{\partial u}{\partial x}v^T+u\frac{\partial v^T}{\partial x}$

$\frac{dx^Tx}{dx}=2x$

$\frac{dx^TAx}{dx}=(A+A^T)x$

$\frac{\partial AB}{\partial x}=\frac{\partial A}{\partial x}B+A\frac{\partial B}{\partial x}$

$\frac{\partial u^TXv}{\partial X}=uv^T$

$\frac{\partial u^TX^TXu}{\partial X}=2Xuv^T$

$\frac{\partial [(Xu-v)^T(Xu-v)]}{\partial X}=2(Xu-v)u^T$

维基百科：
Result of differentiating various kinds of aggregates with other kinds of aggregates

这里写图片描述

Identities: vector-by-vector $\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$
这里写图片描述

Identities: scalar-by-vector $\frac{\partial y}{\partial \mathbf{x}} = \nabla_\mathbf{x} y$

这里写图片描述

Identities: vector-by-scalar $\frac{\partial \mathbf{y}}{\partial x}$

这里写图片描述

详细参考：
维基百科矩阵求导

因为是第一次用公式编辑器，所以总结下基本使用方法：

MathJax是一个JavaScript引擎,用来显示网络上的数学公式， MathJax有两种插入公式的方式：
一种是行中公式，另外一种是独立公式，行中公式可以插入到一行文字中，独立公式是单独成行，行中公式插入方式是： $…$ ,独立公式插入方式是：$$…$$，省略号代表插入的公式部分。

常用符号

分组（最常用）
分组是用{}把一个部分括起来，看成一个整体
空格
MathJax中不能直接输入空格，可以用 , \; \quad和\qquad充当空格，增加的间隔依次增大
运算符号

运算符	表示
+	+
−	-
×	\times
÷	\div
±	\pm
∓	\mp
^(指数运算符)	^

关系比较符号

运算符	表示
<	\lt
>	\gt
≤	\le
≥	\ge
≠	\neq

分式

有两种实现方式：
输入： $\frac {a+c+1}{b+c+2}$ ,输出： $\frac {a+c+1}{b+c+2}$
输入：{a+c+1} \over {b+c+2},输出： ${a+c+1} \over {b+c+2}$
根式

平方根 :
输入：\sqrt {a+b}，输出： $\sqrt {a+b}$

输入：\sqrt[5] {a+b}，输出： $\sqrt[5] {a+b}$
特殊数学符号

1.求和:
输入：\sum {a+b}，输出： $\sum {a+b}$
输入：\sum_{i=1}^{K}，输出： $\sum_{i=1}^{K}$
其中”_”是下标； “^”是上标
输入：$$\sum_{i=1}^{K}$$，输出：

\sum i = 1 K

$\sum_{i=1}^{K}$

2.连乘:
输入：\prod {a+b}，输出： $\prod {a+b}$
输入：\prod_{i=1}^{K}，输出： $\prod_{i=1}^{K}$
输入：$$\prod_{i=1}^{K}$$，输出：

\prod i = 1 K

$\prod_{i=1}^{K}$

3.arg max/arg min/max/min

输入：$$arg\,\max_{c_k}$$，输出：
$a r g max c k$ $arg\,\max_{c_k}$
输入：$$arg\,\min_{c_k}$$，输出： $a r g min c k$ $arg\,\min_{c_k}$
输入：$$\mathop {argmin}_{c_k}$$，输出： $a r g m i n c k$ $\mathop {argmin}_{c_k}$
输入：$$\mathop {argmax}_{c_k}$$，输出： $a r g m a x c k$ $\mathop {argmax}_{c_k}$
输入：$$\max_{c_k}$$，输出： $max c k$ $\max_{c_k}$
输入：$$\min_{c_k}$$，输出： $min c k$ $\min_{c_k}$

省略符号

连续点-省略号：
\ldots 偏下点 ; \cdots 中间点 ; \vdots 竖直点 ; \ddots 对角点

输入\cdots：输出：⋯
常用在这种情况：
输入 $f(x_1,x_2，\cdots,x_n)$ ：输出： $f(x_1,x_2，\cdots,x_n)$

独立公式

对齐:

\begin{align}`用于开头，`\end{align}用于结尾，对齐的位置用&开始，用\\结束
输入：

$$
\begin{align}
f(x) &=a+b+a\\
& = 2a+b
\end{align}
$$

输出：

f (x) = a + b + a = 2 a + b

$\begin{align} f(x) &=a+b+a\\ & = 2a+b \end{align}$

条件函数

关键词是\begin{cases}`和`\end{cases}，\test{}括号里面输入内容
输入：

$$
L(Y,f(X)) =
\begin{cases}
0, & \text{Y = f(X)}  \\
1, & \text{Y $\neq$ f(X)}
\end{cases}
$$

输出：

L (Y, f (X)) = {0, 1, Y = f(X) Y \neq f(X)

$L(Y,f(X)) = \begin{cases} 0, & \text{Y = f(X)} \\ 1, & \text{Y $\neq$ f(X)} \end{cases}$

下面在看一个例子：

$$
J(\theta) = \frac 1 2 \sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})^2
$$

输出：

J (θ) = 1 2 \sum i = 1 m (h θ (x (i)) - y (i)) 2

$J(\theta) = \frac 1 2 \sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})^2$
这个公式是线性回归算法里的成本函数

这里：

公式编辑器

以上是一些基本用法，遇到其他的再追加。。。。

lilong117194

关注

4
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
矩阵求导公式，及MathJax公式编辑

最近学到线性回归中要用到向量，矩阵求导，所以就搜集了下资料，总结如下：矩阵求导有两种布局：分子布局（numerator layout）分母布局（denominator layout）下面用向量y对标量x求导简单说明这两种布局的区别。我们假定所有的向量都是列向量。 y=⎡⎣⎢⎢⎢⎢⎢⎢⎢y1y2y3⋮ym⎤⎦⎥⎥⎥⎥⎥⎥⎥y=\begin{bmatrix}y_{1}\\ y_
复制链接

扫一扫