深度学习的数学基础

最新推荐文章于 2022-07-10 20:01:54 发布

dfj77477

最新推荐文章于 2022-07-10 20:01:54 发布

阅读量164

点赞数

文章标签：人工智能

原文链接：http://www.cnblogs.com/liuyunfeng/p/7851778.html

版权

线性代数

基本变量：标量、向量、矩阵、张量

基本运算：乘法、加法、逆运算；线性变换的几何意义

范数

特征分解：$A=V*diag(\lambda)*V^{-1}$

奇异值分解：$A=Q*diag(\Sigma)*V$

伪逆：$A^+=V^T*diag(\Sigma^{-1})*Q^T$

迹运算：$tr(A)=\sum_{i}^{ }A_{ii}$；$tr(ABC)=tr(BCA)=tr(CAB)$

主成分分析：线性变换的残差最小化，可用特征分解求得

$$D^*=\arg\min_D\left \| X-DD^TX\right \|_F^2=\arg\max_Dtr(D^TX^TXD)\;s.t.\;D^TD=I_l$$

截断与舍入误差：级数截断、上溢与下溢

病态条件：特征值差别过大、矩阵求逆对输入误差很敏感

无约束优化：$\arg\,\min_x f(x)$

有约束优化：$\arg\,\min_x f(x)$ s.t. $g(x)\leqslant 0$

基本概念

贝叶斯网络

期望、方差和协方差

常用概率分布

常用函数

统计理论

点估计：$\hat{\theta}_m=g(...,x^{(m)})$。偏差与方差衡量估计量的两个不同误差来源。
一致性：$\lim_{m\to\infty}P(|\hat{\theta}_m-\theta|>\epsilon)=0$
最大似然估计ML：$\theta_{ML}=\arg\max_\theta P_{model}(X;\theta)$
最大后验概率MAP：$\theta_{MAP}=\arg\max_\theta p(x|\theta)=\arg\max_\theta [\log p(\theta|x)+\log p(\theta)]$

信息论

概率分布P的香农熵：$H(X)=E_{X\sim P}[I(X)]=-E_{X\sim P}[\log P(x)]$
条件熵：$H(Y|X) = -\sum_{x,y}P(x,y) \log \frac {P(x,y)} {P(x)}$
联合熵：$H(X,Y) = -\sum_{x,y}P(x,y) \log {P(x,y)} = H(X) + H(Y|X)$
互信息：$I(X;Y)=\sum_{x,y} P(x,y) \log \frac {P(x,y)}{P(x)P(y)}=H(X)-H(X|Y)=H(Y)-H(Y|X)$
KLD散度：$D_{KL}(P||Q)=E_{X\sim P}[\log \frac{P(x)}{Q(x)}]$
交叉熵：$H(P,Q)=E_{X\sim P}[\log Q(x)]=H(P)+D_{KL}(P||Q)$

概率图模型