最大似然估计

一、PDF: Probability density function（概率密度函数）

假设数据y表示连续10次伯努利试验（例如投掷硬币10次）中的成功次数，并且任意一次试验的成功概率由参数w表示，为0.2。概率密度函数描述为：

二、Likelihood function（似然函数）

已知结果，反推各可能条件值的概率大小。

假设10次伯努利试验，成功了7次，可以得似然函数，即w的概率分布。

三、Maximum likelihood estimation（最大似然估计）

似然函数取最大值时的参数值。需要满足一阶导等于零，二阶导小于零。

可得参数w的值。

四、示例

w = (w1, w2)是参数向量，两个可能的模型：幂函数模型和指数函数模型。已知概率密度函数，判断哪个模型拟合得更好，并求解参数w。

两个模型的概率密度函数分别为（i=1, …, m. 表征时序性）：

幂函数模型的对数似然函数（同理可得指数函数的对数似然函数（略））：

最大对数似然函数值越大，模型越合适。同时求出参数向量w的值。