算法
文章平均质量分 72
hezhourongro
这个作者很懒,什么都没留下…
展开
-
最大似然估计算法(简单,通俗易懂)
最大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。简单而言,假设我们要统计全国人口的身高,首先假设这个身高服从服从正态分布,但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高,但是可以通过采样,获取部分人的身高,然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。 最大似然估计中采样需满足一个很重要的假设,就是所有的采样都是独立转载 2013-12-06 15:08:36 · 71491 阅读 · 1 评论 -
最大后验概率估计算法(简单,通俗易懂)
最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似,但是最大的不同时,最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。 首先,假设x为独立同分布的采样,θ为模型参数,f为我们所使用的模型。那么最大似然估计可以表示为: 现在,假设θ的先验分布为g。通过贝叶斯理论,对于θ的后验分布如下式所示: 最转载 2013-12-06 15:07:12 · 7930 阅读 · 0 评论 -
期望最大化(EM)算法(讲的很好)
EM是我一直想深入学习的算法之一,第一次听说是在NLP课中的HMM那一节,为了解决HMM的参数估计问题,使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数。当x是向量时,如果转载 2013-12-06 15:10:16 · 2635 阅读 · 0 评论