1、判别学习模型、生成学习模型、贝叶斯统计与规则化、EM算法的区别与联系
针对这几种学习方法经常混淆的情况,现汇总一下这4中方法。
判别学习模型、生成学习模型、EM模型共同点:theta为固定值,采用最大似然估计。
贝叶斯统计与正则化:theta为随机值,最终演化为MAP。
判别学习模型和生成学习模型:判别学习模型根本上是假设采样点xi的分布与参数theta相互独立;而生成学习模型假设yi的分布于theta有关;同时,我认为生成学习模型不一定 局限在上,还可以变形为:
。
注意:EM方法实际上求的是联合概率,属于生成学习算法。
2、EM算法:
参考:http://blog.sina.com.cn/s/blog_6f3325fa01019j5e.html (讲的非常好)
http://http://blog.csdn.net/zouxy09/article/details/8537620/
EM算法由两步组成:E步和M步。E步估计隐藏变量的分布,M步对参数做最大似然估计。
EM算法的具体实现分为三种:高斯混合模型(Gaussian Mixture Model)、混合朴素贝叶斯模型、因子分析模型(Factor analysis)。