1) 最大似然估计 MLE
给定一堆数据,假如我们知道它是从某一种分布中随机取出来的,可是我们并不知道这个分布具体的参,即“模型已定,参数未知”。 例如,我们知道这个分布是正态分布,但是不知道均值和方差;或者是二项分布,但是不知道均值。 最大似然估计(MLE,Maximum Likelihood Estimation)就可以用来估计模型的参数。MLE的目标是找出一组参数,使得模型产生出观测数据的概率最大:
其中
就是似然函数,表示在参数
下出现观测数据的概率。我们假设每个观测数据是独立的,那么有
为了求导方便,一般对目标取log。 所以最优化对似然函数等同于最优化对数似然函数:
举一个抛硬币的简单例子。 现在有一个正反面不是很匀称的硬币,如果正面朝