Statistics
shanghai_in_summer
这个作者很懒,什么都没留下…
展开
-
《概率论》复习笔记
1.4 概率空间我们把面积或体积称为测度; 设是的长度大于0的有限区间,则测度存在。用表示的子区间的全体,则中元素的测度存在。如果,的测度存在,可以证明,,,的测度都存在。 事件域:设是实验的样本空间,用表示的某些子集构成的集合,如果满足 (1); (2)如果,则; (3...原创 2018-08-12 12:34:18 · 2247 阅读 · 0 评论 -
用有监督的学习方法来学习无监督学习模型
下面我们讨论一种将“概率密度函数估计问题”转化为“有监督的函数逼近”的技巧。设为未知的、需要估计的概率密度函数,为指定用来作为“参考”的、已知的概率密度函数。设为从抽取的一个独立同分布的“训练样本”。我们也可以使用蒙特卡洛的方法从抽取一个样本量为的独立同分布“参考样本”。将质量分配给训练样本,将质量分配给参考样本。(我觉得上述分配质量的操作无异于令)。将上述两个样本混合,得到一个从概率密度抽取...原创 2018-10-13 18:24:30 · 581 阅读 · 0 评论 -
非归一化统计模型的噪声对比估计(NCE,Noise-Contrastive Estimation)(一)
1、介绍本文介绍一种“参数化密度函数”的估计方法。设样本服从一个未知的概率密度函数(pdf),其中。使用参数化函数族来模拟,其中为参数向量。通常假设属于这一函数族,即。的任何估计必须满足如下两个限制条件: 如果对于所有来说(不只是),都满足上述两个限制条件,则称模式为“归一化的”,最大似然方法可以用来估计。如果仅满足非负的条件而不满足正则...翻译 2018-10-16 19:40:43 · 8282 阅读 · 4 评论 -
Fisher information
定义在数理统计中,Fisher information是一种衡量“随机观测样本携带的关于未知参数的信息量”的方法,其中为所遵循的概率密度函数的参数。形式上,它是得分(score)的方差。设为概率密度函数。的对数似然函数为。(1)如果似然函数随着的改变而迅速达到最大,则很容易从中获得的真实值,或者说提供了很多关于的信息;(2)如果似然函数(也是)的分布较平,或分布比较均匀,则需要大...翻译 2018-10-21 20:59:18 · 3037 阅读 · 0 评论 -
EM算法
在统计领域,主要有两大类计算问题,一类是极大似然估计的计算,另一类是Bayes计算。这两者是可以合并讨论的。极大似然估计的计算类似于Bayes的后验众数的计算,因此我们后面就从Bayes计算的角度介绍统计计算方法。Bayes计算方法大体可以分为两大类。一类是直接应用于后验分布以得到后验均值或后验众数的估计,以及这种估计的渐进方差或其近似。另一类算法可称为数据添加算法,它是在观测数据的基础上加上...转载 2018-11-06 09:33:28 · 873 阅读 · 0 评论