- 博客(13)
- 收藏
- 关注
RSS订阅原创 矩阵知识小笔记（持续更新）
线性方程的解与矩阵的逆齐次方程非齐次方程 Ax=b\boldsymbol{A} \boldsymbol{x} = \boldsymbol{b}Ax=b如果 A\boldsymbol{A}A 行满秩（即 AAT\boldsymbol{A} \boldsymbol{A}^TAAT 满秩）， 有MMSE解 x=AT(AAT)−1b\boldsymbol{x} = \boldsymbol{A}^T (\boldsymbol{A} \boldsymbol{A}^T)^{-1} \boldsymbol{b}x=A
2021-10-09 23:20:30
275
原创 机器学习泛化误差上界补充推导
CSDN博文https://blog.csdn.net/SanyHo/article/details/105569224 已经给出了较为详细的推导过程，这里只给出由Hoeffding不等式退出如下不等式：P(R(f)−R^(f)≥ϵ)≤exp(−2Nϵ2)\mathbb{P}(R(f) − \hat{R}(f) \geq \epsilon) \leq exp(−2N \epsilon^2)P(R(f)−R^(f)≥ϵ)≤exp(−2Nϵ2)的过程。Hoeffding不等式为P(ESn−Sn≥t)≤e
2021-04-12 17:11:20
295
原创 带有依赖关系的概率公式
这两个都正确：∑X∼P(X)P(X,Y)=P(Y)\sum_{X \sim \mathbb{P} (X)}\mathbb{P} (X, Y) = \mathbb{P} (Y)∑X∼P(X)P(X,Y)=P(Y)∑X∼P(X∣Y)P(X,Y)=P(Y)\sum_{X \sim \mathbb{P} (X | Y) }\mathbb{P} (X, Y) = \mathbb{P} (Y)∑X∼P(X∣Y)P(X,Y)=P(Y)
2021-02-08 20:43:08
314
原创 深度学习中隐变量（latent variable）理解
假如有x,yx,yx,y服从如下分布关系：看起来像是3元混合高斯分布，比较复杂。如果我们再引入隐变量zzz，使得z=z1z = z_1z=z1时，x,y∼N(μ1,Σ1)x, y \sim N(\mu_1, \Sigma_1)x,y∼N(μ1,Σ1)；z=z2z = z_2z=z2时，x,y∼N(μ2,Σ2)x, y \sim N(\mu_2, \Sigma_2)x,y∼N(μ2,Σ...
2020-03-26 16:39:04
7145
原创 如何用CSDN写博文
csdn更新之后替换为原有的“写博文”按钮为：创作中心点进去之后点击左上角：内容发布最后选择文本编辑器即可原来点击一次的事情现在要点击三次，典型的倒退更新。...
2020-03-26 16:29:38
980
原创 随机矩阵小笔记（持续更新）
xTAx=tr(AxxT)x^T A x = tr(A x x^T)xTAx=tr(AxxT)xTAx=∑i,jai,jxixjx^T A x = \sum_{i,j} a_{i,j} x_i x_jxTAx=i,j∑ai,jxixj
2020-03-15 14:18:03
400
原创 高斯分布的全积分
高斯分布全积分：I=∫x12πσe−(x−μ)22σ2dx=∫y12πσe−(y−μ)22σ2dyI2=∫x∫y12πσe−(x−μ)22σ212πσe−(y−μ)22σ2dxdy=12πσ2∫x∫ye−(x−μ)2+(y−μ)22σ2dxdy\begin{aligned}I &= \int_x \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu...
2020-03-14 14:34:16
4348
原创 高斯分布的熵
高斯分布的熵很简单：H[N(μ,σ2)]=−∫x12πσe−(x−μ)22σ2log12πσe−(x−μ)22σ2dx=−∫x12πσe−(x−μ)22σ2[−12log2πσ2−(x−μ)22σ2]dx=12log2πσ2+12σ2∫x(x−μ)212πσe−(x−μ)22σ2dx=12log2πσ2+σ22σ2=12log2πeσ2\begin{aligned}H[\mathc...
2020-03-14 13:23:38
9764
3
原创 高斯分布的KL散度
两个高斯分布的KL散度其实很简单，只要找到合适的方法。闲话不多说，KL散度的定义为：KL(N(μ1,σ12)∣∣N(μ2,σ22))=∫x12πσ1e−(x−μ1)22σ12log12πσ1e−(x−μ1)22σ1212πσ2e−(x−μ2)22σ22dx=∫x12πσ1e−(x−μ1)22σ12[logσ2σ1−(x−μ1)22σ12+(x−μ2)22σ22]dx\begin{align...
2020-03-14 11:49:54
13744
4
原创 联合高斯分布（Joint Gaussian）的推导
x∼N(0,σ2),y∣x∼N(x,c2)x \sim \mathcal{N}(0, \sigma^2), y|x \sim \mathcal{N}(x, c^2)x∼N(0,σ2),y∣x∼N(x,c2)f(y)=∫xf(y∣x)f(x)dx=∫x12πce−(y−x)22c212πσe−x22σ2dx=12πce−y22c2∫x12πσe−(σ2+c2)x22σ2c2+yxc2dx=12...
2020-03-13 21:20:38
14583
原创 变分推断的数学推导
这里只给出变分推断的数学推导（变分颇为高深，这里只是简单介绍一下基本概念，想了解更多详见：https://blog.csdn.net/weixin_40255337/article/details/83088786）：变分推断的目的是构造 q(w∣θ)q(w| \theta)q(w∣θ) ，通过优化得到最优的 θ*，从而使得 q(w| θ) 逼近未知的后验分布 P(w |X)。由贝叶斯公式可知...
2020-03-13 17:20:06
658
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人