机器学习及深度学习中的符号说明

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/xxliu_csdn/article/details/87349085

数和数组

aa 标量(整数或实数)
a\boldsymbol{a} 向量 编辑中用boldsymbol+小写字母
A\boldsymbol{A} 矩阵 编辑中用boldsymbol+大写字母
A\sf{A} 张量 编辑中用sf+大写字母
In\boldsymbol{I}_n nnn行n列的单位矩阵
I\boldsymbol{I} 维度蕴含于上下文的单位矩阵
e(i)\boldsymbol{e}^{(i)} [0, ,0,1,0, ,0]i1标准基向量[0,\cdots,0,1,0,\cdots,0],其中索引i处值为1
diag(a)\operatorname{diag}(\boldsymbol{a})  a 对角方阵其中对角元素由\,\boldsymbol{a} \,给定
a\rm{a} 标量随机变量 编辑中用rm+小写字母
a\bf{a} 向量随机变量 编辑中用bf+小写字母
A\bf{A} 矩阵随机变量 编辑中用bf+大写字母

集合和图

A\Bbb{A} 集合 编辑中用Bbb+大写字母
R\Bbb{R} 实数集 编辑中用Bbb字体
{0,1}\{0,1\} 01包含0和1的集合
{0,1, ,n}\{0,1,\cdots,n\} 0n包含0和n直接所有整数的集合
[a,b][a,b]  a  b 包含\ a\ 和\ b\ 的实数区间
(a,b](a,b]   a    b  不包含\;a\;但包含\;b\;的实数区间
AB\Bbb{A\setminus B}   A    B差集,即其元素包含于\;\Bbb{A}\;但不包含于\;\Bbb{B}
G\mathcal{G} 编辑中用mathcal+大写字母G
PaG(xi)Pa_\mathcal{G}({\rm{x}}_i)   G    xi  图\;\mathcal{G}\;中\;\rm{x}_i\;的父节点

索引

aia_i   a    i    1  向量\;\boldsymbol{a}\;的第\;i\;个元素,其中索引从\;1\;开始
aia_{-i}   i    a  除了第\;i\;元素,\;\boldsymbol{a}\;的所有元素
Ai,j\boldsymbol{A}_{i,j}   A    i,j  矩阵\;\boldsymbol{A}\;的\;i,j\;元素
Ai,:\boldsymbol{A}_{i,:}   A    i  矩阵\;\boldsymbol{A}\;的第\;i\;行
A:,i\boldsymbol{A}_{:,i}   A    i  矩阵\;\boldsymbol{A}\;的第\;i\;列
Ai,j,kA_{i,j,k} 3    A    (i,j,k)  3\;维张量\;{\sf{A}}\;的\;(i,j,k)\;元素
A:,:,i{\sf{A}}_{:,:,i} 3    2  3\;维张量的\;2\;维切片
ai\rm{a_i}   a    i  随机向量\;{\bf{a}}\;的第\;i\;个元素

线性代数中的操作

AT\boldsymbol{A}^{\sf{T}}   A  矩阵\;\boldsymbol{A}\;的转置
A+\boldsymbol{A}^{+} A    MoorePenrose  {\boldsymbol{A}}\;的\;Moore-Penrose\;伪逆
AB\boldsymbol{A}\odot\boldsymbol{B} A    B  Hadamard  {\boldsymbol{A}}\;和\;{\boldsymbol{B}}\;的逐元素乘积(Hadamard\;乘积)
det(A)\det(\boldsymbol{A}) A  \boldsymbol{A}\;的行列式

微积分

dydx\frac{dy}{dx} y    x  y\;关于\;x\;的导数
yx\frac{\partial y}{\partial x} y    x  y\;关于\;x\;的偏数
xy\nabla_{\boldsymbol{x}}y y    x  y\;关于\;\boldsymbol{x}\;的梯度
Xy\nabla_{\boldsymbol{X}}y y    X  y\;关于\;\boldsymbol{X}\;的矩阵导数
Xy\nabla_{\sf{X}}y y    X  y\;关于\;\sf{X}\;求导后的张量
fx\frac{\partial f}{\partial \boldsymbol{x}} f:RnRm   Jacobian    JRm×nf:\Bbb{R}^n\rightarrow\Bbb{R}^m\,的\;Jacobian\;矩阵\;\boldsymbol{J}\in \Bbb{R}^{m\times n}
x2f(x)orH(f)(x)\nabla_{\boldsymbol{x}}^2f(\boldsymbol{x}) or \boldsymbol{H}(f)(\boldsymbol{x}) f    x    Hessian  f\;在点\;\boldsymbol{x}\;处的\;Hessian\;矩阵
f(x)dx\int f(\boldsymbol{x})d\boldsymbol{x} x  \boldsymbol{x}\;整个域上的定积分
Sf(x)dx\int_{\Bbb{S}}f(x)dx   S    x  集合\;\Bbb{S}\;上关于\;\boldsymbol{x}\;的定积分

概率和信息论

ab\rm{a}\bot \rm{b} a    b  \rm{a}\;和\;\rm{b}\;相互独立的随机变量
abc\rm{a}\bot b\mid c   c  给定\;c\;后条件独立
P(a)P(\rm{a}) 离散变量上的概率分布
p(a)p(\rm{a}) 连续变量(或变量类型未指定时)上的概率分布
aP\rm{a}\sim P   P    a具有分布\;P\;的随机变量\;\rm{a}
ExP[f(x)]  or  Ef(x)\Bbb{E}_{\rm{x}\sim P}[f(x)]\;or\;\Bbb{E}f(x) f(x)    P(x)  f(x)\;关于\;P(\rm{x})\;的期望
Var(f(x))\operatorname{Var}(f(x)) f(x)    P(x)  f(x)\;在分布\;P(\rm{x})\;下的方差
Cov(f(x),g(x))\operatorname{Cov}(f(x),g(x)) f(x)    g(x)    P(x)  f(x)\;和\;g(x)\;在分布\;P(\rm{x})\;下的协方差
H(x)H(\rm{x})   x  随机变量\;\rm{x}\;的香浓熵
DKL(PQ)D_{KL}(P\|Q) P    Q    KL  P\;和\;Q\;的\;KL\;散度
N(x;μ,Σ)\mathcal{N}(\boldsymbol{x;\mu,\Sigma})   μ  Σx  均值为\;\boldsymbol{\mu},协方差为\;\boldsymbol{\Sigma},\boldsymbol{x}\;上的高斯分布

函数

f:ABf:\Bbb{A}\rightarrow\Bbb{B}   A    B    f定义域为\;\Bbb{A}\;值域为\;\Bbb{B}\;的函数\;f
fgf\circ g f    g  f\;和\;g\;的组合
f(x;θ)f(\boldsymbol{x;\theta})   θ  ,  x  (,  θ    f(x)  )\;\boldsymbol{\theta}\;参数化,关于\;\boldsymbol{x}\;的函数(有时为了简化表示,忽略\;\boldsymbol{\theta}\;而记为\;f(\boldsymbol{x})\;)
logx\log x x  x\;的自然对数
σ(x)\sigma(x) Logistic  sigmoid,  11+exp(x)Logistic\;sigmoid,\;\frac{1}{1+\exp(-x)}
ζ(x)\zeta(x) Softplus,  log(1+exp(x))Softplus,\;\log(1+\exp(x))
xp\|\boldsymbol{x}\|_p x    Lp  \boldsymbol{x}\;的\;L^p\;范数
x\|\boldsymbol{x}\| x    L2  \boldsymbol{x}\;的\;L^2\;范数
x+x^+ x  ,  max(0,x)x\;的正数部分,即\;max(0,x)
1condition\boldsymbol{1}_{condition}   1,  0如果条件为真则为\;1,否则为\;0

使  f,:有时使用函数\;f它的参数是一个标量,但应用到一个向量、矩阵或张量:
f(x)f(X)f(X)  f  f({\boldsymbol{x}})、f({\boldsymbol{X}})或f({\sf{X}})。这表示逐元素地将\;f\;应用于数组。
  C=σ(X),  i,j,k,Ci,j,k=σ(Xi,j,k)例如\;\sf{C}=\sigma(\sf{X}),则对所有合法的\;i,j,和k,C_{i,j,k}=\sigma(X_{i,j,k})

数据集和分布

pdatap_{data} 数据生成分布
p^train\hat{p}_{train} 由训练集定义的经验分布
X\Bbb{X} 训练样本的集合
x(i)\boldsymbol{x}^{(i)}   i  ()数据集的第\;i\;个样本(输入)
y(i)    y(i)y^{(i)}\; 或\; \boldsymbol{y}^{(i)}   x(i)  监督学习中与\;\boldsymbol{x}^{(i)}\;关联的目标
X\boldsymbol{X} m×n  ,  Xi,:    x(i)m\times n\;的矩阵,其中行\;\boldsymbol{X}_{i,:}\;为输入样本\;\boldsymbol{x}^{(i)}
展开阅读全文

没有更多推荐了,返回首页