weixin_45683677的博客

拆分，添加了随机噪声，对下一时刻的x与噪声增加了系数，这样可以保证每一步都对。接下来我们对损失函数进行一下简化，减少采样的变量，增加训练稳定性。这样损失函数就建立完毕了，我们只需要输入如下特征就可以进行训练。训练好模型后通过迭代就可以从随机噪声生成对应的模型了。跟t时刻的残差并不是独立的，我们往回退一步。DDPM首先将一个原始的图像。就又噪声主导了，ok拆楼完成。, 这里采用了预测残差的方式。可以表示为如下形式，由于。...

For example, the heights of humans will fit the normal (Gaussian) probability distribution.This is not always the case. Sometimes the observations in a collected data sample do not fit any known probability distribution and cannot be easily forced into an

蒙特卡洛采样方法1. cdf采样根据pdf求积分得到cdf，之后在y（0-1）直接均匀分布取值即可采样出x对于大部分分布来说，无法求出cdf2. adjection sampling在可行域中就接受，否则不接受3.重要性采样重新构造一个分布q（x）,在q(x)上进行采样（cdf等），同时增加一个权重来纠偏，如果真实p大，q小了那就权重放大，否则权重放下。马尔可夫链MCMCMH从第一个值出发，Q是随机矩阵，α\alphaα为接受率，如果接受那么就取新采样出的样本，否则还是采样本样本。

文章目录数据X与模型Z的关系基于平均场的变分推断基于梯度的变分推断重参数化数据X与模型Z的关系从模型到数据就是生成模型，其作用是去预估生成数据的分布从数据到模型是推断模型，其作用是根据数据去得到因变量基于平均场的变分推断基于平均场将隐变量z分为若干个独立的团，这样求起来还是需要积分，其思想类似于坐标上升。基于梯度的变分推断这里补充一点，对于变分推断来说，基于的公式也是ELBO与KL散度，总体来说就是让q(z)q(z)q(z)去近似估计p(z∣x)p(z|x)p(z∣x)这个后验。我们

高斯混合模型简介高斯混合模型从本质上来看就是多个高斯模型的加权平均，权重是隐变量z的概率分布正是因为这个连加操作使得混合高斯模型的参数估计不能通过MLE直接得到闭式解，可以采用基于梯度的近似估计，但是EM算法更加优美，也更加适合使用EM算法求解GMM将EM中优化的公式进行带入，可以得到一个可以求得闭式解的形式，E步中假定θt+1\theta^{t+1}θt+1固定，之后求解得pt+1p^{t+1}pt+1, 之后去求θt+2\theta^{t+2}θt+2,之后更新p…就可以通过迭代

EM算法背景EM公式可以证明，logP（x∣θt+1）>=logP(x∣θt)logP（x|\theta^{t+1}）>= logP(x|\theta^{t})logP（x∣θt+1）>=logP(x∣θt)EM算法推导logP(x∣θ)=ELBO+KL(p∣∣q)logP(x|\theta) = ELBO + KL(p||q)logP(x∣θ)=ELBO+KL(p∣∣q)KL>=0 我们只需要最大化ELBO即可，先假定一个θ\thetaθ, 带入得到posterior，

背景介绍主要是对高维随机变量，重点是条件独立性贝叶斯网络（有向图）

带约束的极大化问题，使用拉格朗日乘子法将约束带入，之后求导即可

文章目录模型总览感知机算法线性判别分析逻辑回归模型总览（感知机居然是硬输出 QaQ）感知机算法是有一个sign，所以直接转化成硬分类了最终就是一个sgd优化的错误分类，使其减小线性判别分析投影到一个向量上，实现类内小，类间大，这个等价于求感知机的法线，不够更加严格一点，约束比较紧逻辑回归最终MLE其实就是一个-cross_entropy...

引入正则化（岭回归）的原因数学层面不可逆现实层面过拟合解决过拟合的方案：a. 加数据 b.特征选择（选一些重要特征） c. 特征降维 d.正则化岭回归半正定（矩阵与矩阵转置相乘一定半正定） + λ\lambdaλI = 正定 （可逆）直观上可以使得W稀疏，从而防止过拟合总结关系...

为什么MLE估计服从高斯分布的数据分布方差会估小？因为MLE求方差是根据数据的均值，并不是分布的期望，因为会根据采样的偏差将均值拉到符合数据的地方，从而算出来的方差会变小。从几何层面看高维高斯分布主要看exp上的值，可以将Σ\SigmaΣ进行特征值分解，之后带入计算，每个x可以得到一个椭圆公式（对于二维来说），进而组成钟形函数...

文章目录1. SVM 思想转化为数学表达soft margin svm拉格朗日函数与对偶性1. SVM 思想转化为数学表达首先这是一个凸优化问题，因为WTWW^{T} WWTW 是二次的，正定，约束条件是一个线性变化。为了方便求解，我们使用拉格朗日乘子法将式化为无约束情况使用强对偶关系就行一波转化，方便先求W b无约束求最小值，直接求导，先求b偏导，代入，再求W偏导，带入求解min时得出一个约束，加入其中最终可以得到一个与W b无关的λ\lambdaλ 优化问题，从而求解出λ\lambdaλ

今天偶尔学了一下MMD， mark一下源头中文讲解不错的核方法Kernel Distribution Embedding我的理解是为了衡量两个分布在各方面的是否相似，这里使用了核函数将分布映射到无穷维度，并且使用了kernel mean embedding以及RSKH空间中内积的性质，将sup去掉转化成了期望的无偏估计的模，最后因为是无穷维度的映射所以使用了核技巧没有显式构建映射函数，而是使用了核函数进行求解，具体核函数的选择对于分布的度量的有效性有很大影响。...

前提： EM算法需要两个东西，其解决方法就是先随机初始化θA\theta_{A}θA​,θB\theta_{B}θB​, 然后用去估计 Z， 然后基于 Z 按照最大似然概率去估计新的θA\theta_{A}θA​,θB\theta_{B}θB​，循环至收敛。琴声不等式：$ \ $...