机器学习 复习笔记（1） 贝叶斯公式与似然估计

贝叶斯公式：
当x1，x2 …xn对应着不同的theta值。其中一组theta值使得x1, x2…xn发生的概率最大。我们这取这组theta值。这就是极大似然估计。

联合密度函数
注意x1, x2…xn都是已经发生的数据，所以theta才是未知数。似然的意思就是像…的样子。所以似然函数就是theta像x的样子的函数。argmax(theta)就是求得让x1, x2…xn发生概率最大的一组theta。

实际操作中，我们往往对似然函数取对数，得到对数似然函数，然后再对其求导，求最大值。

这也是机器学习的本质：我们其实在统计意义上说，机器学习就是找出与样本概率分布最接近的分布。

二项分布的最大似然估计

高斯分布的最大似然估计



需要手推公式

注意统计学上的定义，方差应该是n-1，但是最大似然估计算出来的是n。这里要注意。所以并不是无偏估计。

过于最大似然估计和过拟合的思考：
加入了拉普拉斯平滑