机器学习中的数学-极大似然估计

原创文章,如需转载请保留出处
本博客为七月在线邹博老师机器学习数学课程学习笔记

一. 极大似然估计
1.1 极大似然估计
假设D是样本集合,A是参数集合,我们在D样本集固定的情况下,A取何值时,P(A|D)能取到最大。

• 我们现在的主要目的是求1式的最大值,其中1式通过贝叶斯公式能转换为2式的形式,其中2式的分母相同,我们只需要考虑分子即可–即3式,又因为P(Ai)近似相等.所以我们可以将3式中P(Ai)去掉,直接考虑4式的最大值.
• 最后我们得到5式,这相当于是一种颠倒原因结果的式子。

1.2 极大似然估计定义

1.3 二项分布中的极大似然估计

1.4 高斯分布中的极大似然估计

1.5 极大似然估计与过拟合