# 数和数组

$a$ $标量（整数或实数）$
$\boldsymbol{a}$ $向量$ 编辑中用boldsymbol+小写字母
$\boldsymbol{A}$ $矩阵$ 编辑中用boldsymbol+大写字母
$\sf{A}$ $张量$ 编辑中用sf+大写字母
$\boldsymbol{I}_n$ $n行n列的单位矩阵$
$\boldsymbol{I}$ $维度蕴含于上下文的单位矩阵$
$\boldsymbol{e}^{(i)}$ $标准基向量[0,\cdots,0,1,0,\cdots,0]，其中索引i处值为1$
$\operatorname{diag}(\boldsymbol{a})$ $对角方阵其中对角元素由\,\boldsymbol{a} \,给定$
$\rm{a}$ $标量随机变量$ 编辑中用rm+小写字母
$\bf{a}$ $向量随机变量$ 编辑中用bf+小写字母
$\bf{A}$ $矩阵随机变量$ 编辑中用bf+大写字母

# 集合和图

$\Bbb{A}$ $集合$ 编辑中用Bbb+大写字母
$\Bbb{R}$ $实数集$ 编辑中用Bbb字体
$\{0,1\}$ $包含0和1的集合$
$\{0,1,\cdots,n\}$ $包含0和n直接所有整数的集合$
$[a,b]$ $包含\ a\ 和\ b\ 的实数区间$
$(a,b]$ $不包含\;a\;但包含\;b\;的实数区间$
$\Bbb{A\setminus B}$ $差集，即其元素包含于\;\Bbb{A}\;但不包含于\;\Bbb{B}$
$\mathcal{G}$ $图$ 编辑中用mathcal+大写字母G
$Pa_\mathcal{G}({\rm{x}}_i)$ $图\;\mathcal{G}\;中\;\rm{x}_i\;的父节点$

# 索引

$a_i$ $向量\;\boldsymbol{a}\;的第\;i\;个元素，其中索引从\;1\;开始$
$a_{-i}$ $除了第\;i\;元素，\;\boldsymbol{a}\;的所有元素$
$\boldsymbol{A}_{i,j}$ $矩阵\;\boldsymbol{A}\;的\;i,j\;元素$
$\boldsymbol{A}_{i,:}$ $矩阵\;\boldsymbol{A}\;的第\;i\;行$
$\boldsymbol{A}_{:,i}$ $矩阵\;\boldsymbol{A}\;的第\;i\;列$
$A_{i,j,k}$ $3\;维张量\;{\sf{A}}\;的\;(i,j,k)\;元素$
${\sf{A}}_{:,:,i}$ $3\;维张量的\;2\;维切片$
$\rm{a_i}$ $随机向量\;{\bf{a}}\;的第\;i\;个元素$

# 线性代数中的操作

$\boldsymbol{A}^{\sf{T}}$ $矩阵\;\boldsymbol{A}\;的转置$
$\boldsymbol{A}^{+}$ ${\boldsymbol{A}}\;的\;Moore-Penrose\;伪逆$
$\boldsymbol{A}\odot\boldsymbol{B}$ ${\boldsymbol{A}}\;和\;{\boldsymbol{B}}\;的逐元素乘积（Hadamard\;乘积）$
$\det(\boldsymbol{A})$ $\boldsymbol{A}\;的行列式$

# 微积分

$\frac{dy}{dx}$ $y\;关于\;x\;的导数$
$\frac{\partial y}{\partial x}$ $y\;关于\;x\;的偏数$
$\nabla_{\boldsymbol{x}}y$ $y\;关于\;\boldsymbol{x}\;的梯度$
$\nabla_{\boldsymbol{X}}y$ $y\;关于\;\boldsymbol{X}\;的矩阵导数$
$\nabla_{\sf{X}}y$ $y\;关于\;\sf{X}\;求导后的张量$
$\frac{\partial f}{\partial \boldsymbol{x}}$ $f:\Bbb{R}^n\rightarrow\Bbb{R}^m\,的\;Jacobian\;矩阵\;\boldsymbol{J}\in \Bbb{R}^{m\times n}$
$\nabla_{\boldsymbol{x}}^2f(\boldsymbol{x}) or \boldsymbol{H}(f)(\boldsymbol{x})$ $f\;在点\;\boldsymbol{x}\;处的\;Hessian\;矩阵$
$\int f(\boldsymbol{x})d\boldsymbol{x}$ $\boldsymbol{x}\;整个域上的定积分$
$\int_{\Bbb{S}}f(x)dx$ $集合\;\Bbb{S}\;上关于\;\boldsymbol{x}\;的定积分$

# 概率和信息论

$\rm{a}\bot \rm{b}$ $\rm{a}\;和\;\rm{b}\;相互独立的随机变量$
$\rm{a}\bot b\mid c$ $给定\;c\;后条件独立$
$P(\rm{a})$ $离散变量上的概率分布$
$p(\rm{a})$ $连续变量（或变量类型未指定时）上的概率分布$
$\rm{a}\sim P$ $具有分布\;P\;的随机变量\;\rm{a}$
$\Bbb{E}_{\rm{x}\sim P}[f(x)]\;or\;\Bbb{E}f(x)$ $f(x)\;关于\;P(\rm{x})\;的期望$
$\operatorname{Var}(f(x))$ $f(x)\;在分布\;P(\rm{x})\;下的方差$
$\operatorname{Cov}(f(x),g(x))$ $f(x)\;和\;g(x)\;在分布\;P(\rm{x})\;下的协方差$
$H(\rm{x})$ $随机变量\;\rm{x}\;的香浓熵$
$D_{KL}(P\|Q)$ $P\;和\;Q\;的\;KL\;散度$
$\mathcal{N}(\boldsymbol{x;\mu,\Sigma})$ $均值为\;\boldsymbol{\mu}，协方差为\;\boldsymbol{\Sigma}，\boldsymbol{x}\;上的高斯分布$

# 函数

$f:\Bbb{A}\rightarrow\Bbb{B}$ $定义域为\;\Bbb{A}\;值域为\;\Bbb{B}\;的函数\;f$
$f\circ g$ $f\;和\;g\;的组合$
$f(\boldsymbol{x;\theta})$ $\;\boldsymbol{\theta}\;参数化,关于\;\boldsymbol{x}\;的函数(有时为了简化表示,忽略\;\boldsymbol{\theta}\;而记为\;f(\boldsymbol{x})\;)$
$\log x$ $x\;的自然对数$
$\sigma(x)$ $Logistic\;sigmoid,\;\frac{1}{1+\exp(-x)}$
$\zeta(x)$ $Softplus,\;\log(1+\exp(x))$
$\|\boldsymbol{x}\|_p$ $\boldsymbol{x}\;的\;L^p\;范数$
$\|\boldsymbol{x}\|$ $\boldsymbol{x}\;的\;L^2\;范数$
$x^+$ $x\;的正数部分,即\;max(0,x)$
$\boldsymbol{1}_{condition}$ $如果条件为真则为\;1,否则为\;0$

$有时使用函数\;f它的参数是一个标量,但应用到一个向量、矩阵或张量:$
$f({\boldsymbol{x}})、f({\boldsymbol{X}})或f({\sf{X}})。这表示逐元素地将\;f\;应用于数组。$
$例如\;\sf{C}=\sigma(\sf{X}),则对所有合法的\;i,j,和k,C_{i,j,k}=\sigma(X_{i,j,k})$

# 数据集和分布

$p_{data}$ $数据生成分布$
$\hat{p}_{train}$ $由训练集定义的经验分布$
$\Bbb{X}$ $训练样本的集合$
$\boldsymbol{x}^{(i)}$ $数据集的第\;i\;个样本(输入)$
$y^{(i)}\; 或\; \boldsymbol{y}^{(i)}$ $监督学习中与\;\boldsymbol{x}^{(i)}\;关联的目标$
$\boldsymbol{X}$ $m\times n\;的矩阵,其中行\;\boldsymbol{X}_{i,:}\;为输入样本\;\boldsymbol{x}^{(i)}$