u013250861的博客

最大期望算法（Expectation-maximization algorithm，又译为期望最大化算法），是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量。它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法(HMM)等等。最大期望算法经过两个步骤交替进行计算：第一步是计算期望(E)，利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化(M)，最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一.

生成模型的难题就是判断生成分布与真实分布的相似度，因为我们只知道两者的采样结果，不知道它们的分布表达式。KL 散度是根据两个概率分布的表达式来算它们的相似度的，我们只有样本本身，没有分布表达式，当然也就没有方法算 KL 散度。变分自编码器（Variational auto-encoder，VAE）是一类重要的生成模型（Generative Model）VAE 跟 GAN 比较，目标基本是一致的——希望构建一个从隐变量 Z 生成目标数据 X 的模型，但是实现上有所不同。

极大似然估计（Maximum likelihood estimation, 简称MLE）也称最大似然估计。是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

1 点估计2 基于截尾样本的最大似然估计3 估计量的评选标准4 区间估计5 正态总体均值与方差的区间估计6 （0-1）分布参数的区间估计7 单侧置信区间

20世纪40年代，在冯·诺伊曼，斯塔尼斯拉夫·乌拉姆和尼古拉斯·梅特罗波利斯在洛斯阿拉莫斯国家实验室为核武器计划工作时，发明了蒙特卡罗方法。因为乌拉姆的叔叔经常在摩纳哥的蒙特卡洛赌场输钱得名，而蒙特卡罗方法正是以概率为基础的方法。是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。1940年代中期由于科学技术的发展和电子计算机的发明。而提出的一种以概率统计理论为指导的数值计算方法。蒙特卡罗方法也称 统计模拟 方法。.........

蒙特卡罗方法（Monte Carlo method），也称 统计模拟方法。蒙特卡洛方法的理论基础是大数定律。大数定律是描述相当多次数重复试验的结果的定律，在大数定理的保证下:所以只要设计一个随机试验，使一个事件的概率与某未知数有关，然后通过重复试验，以频率近似值表示概率，即可求得该未知数的近似值。此种方法可以求解微分方程，求多重积分，求特征值等。参考资料：经典算法：蒙特卡洛方法（MCMC）蒙特卡洛方法（入门详解）...