机器学习中你不得不知道的数学符号表示

引入

  最近在补一些机器学习的理论基础，因此把常用的符号做一个总结。当然，不同的子方向可能有些许区别。

1 标量向量及矩阵

符号	含义	代码
$a,b,c,\alpha ,\beta ,\lambda$	标量	a,b,c,\alpha,\beta,\lambda
$\mathbf{x},\mathbf{y},\mathbf{z}$	向量	\boldsymbol{x},\boldsymbol{y},\boldsymbol{z}
$\mathbf{x},\mathbf{y},\mathbf{z}$	标量	\mathbf{x},\mathbf{y},\mathbf{z}
$B=({\mathbf{b}}_1,{\mathbf{b}}_2,{\mathbf{b}}_3)$	有序元组	B=(\boldsymbol{b}_1, \boldsymbol{b}_2, \boldsymbol{b}_3)
$\mathbf{B}=[{\mathbf{b}}_1,{\mathbf{b}}_2,{\mathbf{b}}_3]$	列向量水平堆叠的矩阵	\boldsymbol{B}=[\boldsymbol{b}_1, \boldsymbol{b}_2, \boldsymbol{b}_3]

  粗斜体之分倒不是关键，这个可以看方向和喜好，最重要的是全文统一。
  下面介绍向量矩阵的一些或者关系运算：

符号	含义	代码
${\mathbf{x}}^T,{\mathbf{A}}^T$	转置	\boldsymbol{x}^T, \boldsymbol{A}^T
${\mathbf{A}}^{-1}$	求逆	\boldsymbol{A}^{-1}
$⟨\mathbf{x},\mathbf{y}⟩$	内积	\langle\boldsymbol{x}, \boldsymbol{y}\rangle
${\mathbf{x}}^T\mathbf{y}$	点积	\boldsymbol{x}^T\boldsymbol{y}
${\mathbf{I}}_m$	$m\times m$的单位矩阵	\boldsymbol{I}_m
$0_{m,n}$	$m\times n$的零矩阵	\mathbf{0}_{m,n}
$1_{m,n}$	$m\times n$的一矩阵
${\mathbf{e}}_i$	标准向量 (矩阵的第$i$列)	\boldsymbol{e}_i
$\text{rk}(\mathbf{A})$	矩阵的秩	\text{rk}(\boldsymbol{A})
$\text{tr}(A)$	矩阵的迹	\text{tr}(A)
$\text{det}(A)$	矩阵的行列式	\text{det}(A)
$\mid \cdot \mid$	绝对值、行列式或者模	\mid\cdot\mid
$\Vert \cdot \Vert$	欧氏距离	|\cdot\
$\mathbf{x}\perp \mathbf{y}$	向量垂直	\boldsymbol{x}\perp\boldsymbol{y}
$V$	向量空间
$V^{\perp }$	向量空间的正交补
$\mathbf{\theta }$	参数向量
${\text{Cov}}_{X,Y}[\mathbf{x},\mathbf{y}]$	向量的协方差

2 自然数

符号	含义	代码
$\mathbb{Z},\mathbb{N}$	整数和自然数	\mathbb{Z},\mathbb{N}
$\mathbb{R},\mathbb{C}$	实数和复数	\mathbb{R},\mathbb{C}
${\mathbb{R}}^n$	$n$维实数向量	\mathbb{R}^n

3 定义

符号	含义	代码
$\forall x$	通用量词：存在$x$	$\forall x$
$\exists x$	存在量词：存在$x$	\exists{x}
$a:=b$	$a$由$b$定义
$a=:b$	$b$由$a$定义
$a\propto b$	$a$正比于$b$，即$a=$常量$\cdot b$	a\propto{b}
$\iff$	当且仅当	\Leftrightarrow
$\Rightarrow$	暗含	\Rightarrow

4 集合

符号	含义	代码
$\mathcal{A},\mathcal{C}$	集合	\mathcal{A},\mathcal{C}
$a\in \mathcal{A}$	集合元素	a\in\mathcal{A}
$a\subset A$	子集	a\subset{A}
$\varnothing$	空集	\emptyset
$\mathcal{A}$\$\mathcal{B}$	集合相减	$\mathcal{A}$\$\mathcal{B}$

5 导数

符号	含义	代码
$\frac{\partial f}{\partial x}$	求偏导	\frac{\partial{f}}{\partial{x}}
$\frac{\text{d}f}{\text{d}x}$	导数

6 函数

符号	含义	代码
$g\circ f$	复合函数：$g$在$f$之后	g\circ{f}
$f_{\ast }={\min }_{x}f(x)$	函数$f$的最小函数值
$x_{\ast }\in \underset{x}{\mathrm{argmin}}f(x)$	使得$f$最小的值

7 概率

符号	含义	代码
${\mathbb{V}}_X[x]$	$x$关于随机变量$X$的方差
${\mathbb{E}}_X[x]$	$x$关于随机变量$X$的期望
$X\sim p$	随机变量$X$根据$p$分布
$\mathcal{N}(\mu ,\sum )$	高斯分布

参考文献

【1】Marc Peter Deisenroth et al., Mathematics for machine learning.