机器学习之最大似然估计与贝叶斯估计

参考链接：http://blog.csdn.net/feilong_csdn/article/details/61633180

http://blog.csdn.net/sunshine_in_moon/article/details/46430751

使用贝叶斯估计计算参数比较困难，所以简化为最大后验估计。 


最大后验估计(MAP)： http://www.cnblogs.com/liliu/archive/2010/11/24/1886110.html 
给出了MAP的解释，并举了一个例子。认为最大似然估计中要计算的参数要符合某种概率分布。 


极大似然估计和贝叶斯估计 ： http://blog.sciencenet.cn/blog-520608-703219.html 
讲了贝叶斯估计与最大后验估计的关系。贝叶斯估计认为要计算的参数要符合某种概率分布。

最大似然估计和贝叶斯估计最大区别便在于估计的参数不同，最大似然估计要估计的参数θ被当作是固定形式的一个未知变量，然后我们结合真实数据通过最大化似然函数来求解这个固定形式的未知变量！

贝叶斯估计则是将参数视为是有某种已知先验分布的随机变量，意思便是这个参数他不是一个固定的未知数，而是符合一定先验分布如：随机变量θ符合正态分布等！那么在贝叶斯估计中除了类条件概率密度p(x|w)符合一定的先验分布，参数θ也符合一定的先验分布。我们通过贝叶斯规则将参数的先验分布转化成后验分布进行求解！

同时在贝叶斯模型使用过程中，贝叶斯估计用的是后验概率，而最大似然估计直接使用的是类条件概率密度。

这两种不同的思路就体现出了贝叶斯学派和频率学派在观点上的根本分歧。极大似然估计是频率学派最经典的方法之一，它从实验结果出发，客观估计参数。而贝叶斯学派则认为世界是按某种规律来分布的，我们只有在假设了某种分布的前提下，才能对世界进行估计，放在这里，就是人们总是会认为正反面的概率是趋向于相同的。