深度学习（花书）数学符号

数和数组

符号	含义
$a$	标量（整数或实数）
$\mathbf{a}$	向量
$\text{A}$	矩阵
$\mathrm{A}$	张量
${\mathbf{I}}_n$	n行n列的单位矩阵
$\mathbf{I}$	维度蕴含于上下文的单位矩阵
${\mathbf{e}}^{(i)}$	标准基向量 $[0,\dots ,0,1,0,\dots ,0]$，其中索引I处值为1
$diag(\mathbf{a})$	对角方阵，其中对角元素有$\mathbf{a}$给定
$\mathrm{a}$	标量随机变量
$\mathrm{a}$	向量随机变量
$A$	矩阵随机变量

集合和图

符号	含义
$\mathbb{A}$	集合
$\mathbb{R}$	实数集
{ 0 , 1 } \{0, 1\} {0,1}	包含0和1的集合
{ 0 , 1 , … , n } \{0, 1, \dots, n\} {0,1,…,n}	包含0和n之间所有整数的集合
$[a,b]$	包含a和b的实数区间
$(a,b]$	不包含a但包含b的实数区间
$\mathbb{A}\setminus \mathbb{B}$	差集，即其元素包含于$\mathbb{A}$但不包含于$\mathbb{B}$
$\mathcal{G}$	图
$P{a}_{\mathcal{G}}(x_i)$	图$\mathcal{G}$中$x_i$的父节点

索引

符号	含义
$a_i$	向量$\mathbf{a}$的第$i$个元素，其中索引从1开始
$a_{-i}$	除了第$i$个元素，向量$\mathbf{a}$的所有元素
${\mathbf{A}}_{i,j}$	矩阵$\mathbf{A}$的$i,j$元素
${\mathbf{A}}_{i,:}$	矩阵$\mathbf{A}$的第$i$行
${\mathbf{A}}_{:,i}$	矩阵$\mathbf{A}$的第$i$列
${\mathbf{A}}_{i,j,k}$	3维张量$\mathbf{A}$的第$(i,j,k)$元素
${\mathbf{A}}_{:,:,k}$	3维张量$\mathbf{A}$的2维切片
$\mathrm{a}$	随机向量$\mathrm{a}$的第$i$个元素，其中索引从1开始

线性代数中的操作

符号	含义
${\mathbf{A}}^{\top }$	矩阵$\mathbf{A}$的转置
${\mathbf{A}}^{+}$	$\mathbf{A}$的Moore-Penrose伪逆
$\mathbf{A}\odot \mathbf{B}$	$\mathbf{A}$和$\mathbf{B}$逐元素乘积（Hadamard乘积）
$\det \mathbf{A}$	$\mathbf{A}$的行列式

微积分

符号	含义
$\frac{\mathrm{d}y}{\mathrm{d}x}$	$y$关于$x$的导数
$\frac{\partial y}{\partial x}$	$y$关于$x$的偏导
${\nabla }_{x}y$	$y$关于$x$的梯度
${\nabla }_{\mathbf{X}}y$	$y$关于$\mathbf{X}$的矩阵导数
${\nabla }_{\mathbf{X}}y$	$y$关于$\mathbf{X}$求导后的张量
$\frac{\partial f}{\partial x}$	$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$的Jacobian矩阵 $\mathbf{J}\in {\mathbb{R}}^{m\times n}$
${\nabla }_x^{2}f(x)or\mathbf{H}(f)(x)$	$f$在点$\mathbf{x}$处的Hessian矩阵
$\int f(x)\mathrm{d}x$	$x$整个域上的定积分
${\int }_{\mathbb{S}}f(x)\mathrm{d}x$	集合$\mathbb{S}$上关于$x$的定积分

概率和信息论

符号	含义
$a\perp b$	$a$和$b$相互独立的随机变量
$P(\mathrm{a})$	离散变量上的概率分布
$p(\mathrm{a})$	连续变量（或变量类型未指定时）上的概率分布
$\mathrm{a}\sim P$	具有分布$P$的随机变量$\mathrm{a}$
${\mathbb{E}}_{X\sim P}[f(x)]or\mathbb{E}f(x)$	$f(x)$关于$P(x)$的期望
$Var(f(x))$	$f(x)$在分布$P(x)$下的方差
$Cov(f(x),g(x))$	$f(x)$和$g(x)$在分布$P(x)$下的协方差
$H(x)$	随机变量$x$的香农熵
$D_{KL}(P\Vert Q)$	$P$和$Q$的$KL$散度
$\mathcal{N}(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma })$	均值为$\mathbf{\mu }$协方差为$\mathbf{\Sigma }$，$\mathbf{x}$上的高斯分布

下面因为单竖线不能加到表格中
$a\perp b|c$： 给定$c$后条件独立

函数

符号	含义
$f:\mathbb{A}\to \mathbb{B}$	定义域为$\mathbb{A}$值域为$\mathbb{B}$的函数$f$
$f\circ g$	$f$和$g$的组合
$f(\mathbf{x};\mathbf{\theta })$	由$\mathbf{\theta }$参数化，关于$x$的函数，有时为简化表示，我们忽略$\mathbf{\theta }$记为$f(\mathbf{x})$
$\log x$	$x$的自然对数
$\sigma (x)$	Logistic sigmoid，$\frac{1}{1+\exp (-x)}$
$\zeta (x)$	Softplus，$\log (1+\exp (-x))$
$\Vert \mathbf{x}{\Vert }_p$	$x$的$L^p$范数
$\Vert \mathbf{x}\Vert$	$x$的$L^2$范数
$x^{+}$	$x$的正数部分，即$\max (0,x)$
$1_{condition}$	如果条件为真则为1，否则为0

有时候我们使用函数$f$，它的参数是一个标量，但应用到一个向量、矩阵或张量：$f(x)$，$f(X)$，or $f(\mathbf{X})$。这表示逐元素地将$f$应用于数组。例如，$\mathbf{C}=\sigma (\mathbf{X})$，则对于所有合法的$i,j$和$k$，$C_{i,j,k}=\sigma (X_{i,j,k})$。

数据集合分布

符号	含义
$p_{data}$	数据生成分布
${\hat{p}}_{train}$	由训练集定义的经验分布
$\mathbb{X}$	训练样本的集合
${\mathbf{x}}^{(i)}$	数据集的第$i$个样本（输入）
$y^{(i)}or{\mathbf{y}}^{(i)}$	监督学习中与${\mathbf{x}}^{(i)}$关联的目标
$\mathbf{X}$	$m\times n$的矩阵，其中行${\mathbf{X}}_{i,:}$为输入样本${\mathbf{x}}^{(i)}$