机器学习：最大似然估计与过拟合

一.贝叶斯公式带来的思考

给定某些样本D，在这些样本中计算某结论A1、A2、…、An出现的概率


也就是说，如果知道某样本D发生了，要使得Ai事件发生的概率最大，可以等价转化为，使得Ai事件发生时，样本D发生的概率最大。

二.最大似然估计

分析：即假定n个样本独立同分布，则可以用L函数表示出事件x1、x2、…xn发生的概率，这个概率与参数theta有关。可以对L函数关于theta求导，使得发生事件x1、x2、…xn的概率最大，就叫做最大似然估计。
注：由于对一个函数求对数之后，并不影响其极值和最值的分布，实践中常对似然函数先求导，从而将若干项乘积的形式转化为若干对数项加和的形式。

<