问题:
已知数据集D(样本)服从概率分布P,P中参数θ未知,去估计这个θ。
极大似然估计和Bayes估计目的相同,都是估计未知参数θ,甚至计算形式上也较为相似,但是看待和理解问题的思路却大相径庭。
极大似然估计将θ看成一个固定的值,它是真实存在的一个固定的值,只不过我们现在不知道它,需要去求它。
而Bayes将θ看成一个随机变量,服从一定的概率分布。它是一个随机变量而不是一个固定值。
极大似然估计中,若某个θ使得样本出现的概率最大,那么这个θ最可能就是真实存在的那个固定的θ。Max(P(D|θ))
而Bayes的思路是θ是个随机变量,随机变量的意思就是,多次实验每次实验的结果求得的θ可能都不一样。在给定的这组数据集的条件下,θ等于哪个值的概率最大。Max(P(θ|D))
对比可知,极大似然估计是在给定什么θ值的情况下样本出现的概率最大,而Bayes则是在给定数据集的条件下θ最大概率的值是什么。这两种思路中条件概率的条件和事件概率正好相反,极大似然是Max(P(D|θ)),而Bayes则是Max(P(θ|D))