深度学习之数学概念符号汇总

序言

深度学习中的数学概念符号用于系统化和简化复杂的数学和计算过程。它们通过明确的符号表示，如向量、矩阵、张量等，以及相关的函数和运算符，为神经网络模型的定义、训练和应用提供了标准化的数学语言，使得深度学习算法更加易于理解和实现。

数和数组

• 标量（scalar）：一个实数或整数
  • 标量（整数或实数）：$a$
  • 标量随机变量：a
• 向量（vector）：一维数组
  • 向量：$\mathbf{a}$
  • 向量随机变量：$\mathbf{a}$
  • 标准基向量$[0,...,0,1,0,...,0]$，其中索引$i$处值为1：$e^{(i)}$
• 矩阵（matrix）：二维数组
  • 矩阵：$A$
  • $n$行$n$列的单位矩阵：$I_n$
  • 维度蕴含于上下文的单位矩阵：$I$
  • 对角矩阵，其中对角元素由a给定：$\text{diag}(\mathbf{a})$
  • 矩阵随机变量：$\text{A}$
• 张量（tensor）：多维数组
  • 张量：$\mathbf{A}$

集合和图

• 集合：无序的元素集合 $\mathbb{A}$
• 实数集：$\mathbb{R}$
• 包含$0$和$1$的集合： { 0 , 1 } \{0,1\} {0,1}
• 包含$0$和$n$之间的所有整数的集合： { 0 , 1 , … , n } \{0,1,\dots,n\} {0,1,…,n}
• 包含$a$和$b$的实数区间：$[a,b]$
• 不包含$a$但包含$b$的实数区间：$\text{(a, b]}$
• 差集，即其元素包含于$\mathbb{A}$但不包含与$\mathbb{B}$：$\mathbb{A}\setminus \mathbb{B}$
• 图：$\mathcal{G}$
• 图$\mathcal{G}$中$X_i$的父节点：$Pa\mathcal{G}(X_i)$

索引

• 向量索引
  • 向量$\mathbf{a}$的第$i$个元素，其中索引从1开始：$a_i$
  • 随机向量a的第$i$个元素：$a_i$
• 除了第$i$个元素，$\mathbf{a}$的所有元素：$a_{-i}$
• 矩阵索引
  • 矩阵$A$的第$i,j$元素：$A_{i,j}$
  • 矩阵$A$的第$i$行：$A_{i,:}$
  • 矩阵$A$的第$i$列：$A_{:,i}$
• 张量索引
  • 3维张量的2维切片：$A_{:,:,i}$

线性代数中的操作

• 矩阵$A$的转置：$A^{\top }$
• 矩阵$A$的伪逆：$A^{+}$
• 矩阵$A$和$B$的逐元素乘积（Hadamard乘积）：$A\odot B$
• 矩阵$A$的行列式：$\text{det}(A)$

微积分

• $y$关于$x$的导数：$\frac{dy}{dx}$
• $y$关于$x$的偏导：$\frac{\partial y}{\partial x}$
• $y$关于$x$的梯度：${\nabla }_{x}y$
• $y$关于矩阵$X$的导数：${\nabla }_{X}y$
• $y$关于张量$\mathbf{X}$的导数：${\nabla }_{\mathbf{X}}y$
• $f:{\mathbb{R}}^n\to {\mathbb{R}}^m$的Jacobian矩阵$J\in {\mathbb{R}}^{m\times n}$：$\frac{\partial f}{\partial x}$
• $f$在点$x$出的Hessian矩阵：${\nabla }_x^{2}f(x)orH(f)(x)$
• $x$整个域上的定积分：$\int f(x)dx$
• 集合$\mathbb{S}$上关于$x$的定积分：${\int }_{\mathbb{S}}f(x)dx$

概率和信息论

• a和b相互独立的随机变量：$a\perp b$
• 给定c后条件独立：$a\perp b\mid c$
• 离散变量上的概率分布：$P(\text{a})$
• 连续变量（或变量类型未指定时）上的概率分布：$p(\text{a})$
• 具有分布$P$的随机变量a：$a\sim P$
• $f(x)$关于$P(\text{x})$的期望：${\mathbb{E}}_{\text{x}\sim P}\left[f(x)\right]or\mathbb{E}[f(x)]$
• $f(x)$在分布$P(\text{x})$下的方差：$\text{Var}(f(x))$
• $f(x)$和$g(x)$在分布$P(\text{x})$下的协方差：$\text{Cov}(f(x),g(x))$
• 随机变量$\text{x}$的香农熵：$H(\text{x})$
• $\text{P}$和$\text{Q}$的KL散度：$D_{KL}(\text{P}\parallel \text{Q})$
• 均值为$\mu$协方差为$\Sigma$，$x$上的高斯分布：$N(x;\mu ,\Sigma )$

函数

• 定义域为$\mathbb{A}$值域为$\mathbb{B}$的函数$f$：$f:\mathbb{A}\to \mathbb{B}$
• $f$和$g$的组合：$f\circ g$
• 由$\theta$参数化，关于$x$的函数（有时为简化表示，我们忽略$\theta$记为$f(x)$）：$f(x;\theta )$
• $x$的自然对数：$\log (x)$
• Logistic sigmoid, 又称S型函数：$\sigma (x)=\frac{1}{1+e^{-x}}$
• Softplus函数：$\zeta (x)=\log (1+e^x)$
• $x$的$L^p$范数：$\parallel x{\parallel }_p$
• $x$的$L^2$范数：$\parallel x\parallel$
• $x$的正数部分，即max$(0,x)$
• 如果条件为真则为1，否则为0：$1_{condition}$
• 有时，我们使用函数$f$，它的参数是一个标量，但应用到一个向量、矩阵或张量：$f(x)、f(X)、f(\text{X})$。这表示逐元素地将$f$应用于数组。例如：$\mathbf{C}=\sigma (\text{X})$，则对于所有合法的$i,j和k$，$C_{i,j,k}=\sigma (X_{i,j,k})$

数据集和分布

• 数据生成分布：$p_{\text{data}}$
• 由训练集定义的经验分布：${\hat{p}}_{\text{train}}$
• 训练样本的集合：$\mathbb{X}$
• 数据集的第$i$个样本（输入）：$x^{(i)}$
• 监督学习中与$x^{(i)}$关联的目标：$y^{(i)}$
• $m\times n$的矩阵，其中行$X_{i,:}$为输入样本$x^{(i)}$：$X$

总结

深度学习之数学概念符号是理解和应用深度学习算法的基础。它们包括向量、矩阵、张量等数学对象，以及相应的函数和运算符，为构建、训练和优化深度学习模型提供了统一的数学表示和计算框架。