最大似然估计

最大似然估计

最大似然估计是在总体的分布类型己知的前提下使用的一种参数估计法。在自然生活中，观察到的某种现象产生的原因可能有很多种.但要判断出到底是哪种原因时，人们往往选择可能性最大的一种或者说是概率最大的，这就是最大似然估计的思想
所有集合中的小事件发生概率连乘再取最大值

似然函数与概率

首先给定联合样本值x关于$\theta$的似然函数如下
$$L(x;\theta )=f(x|\theta )$$
似然函数L是一个概率密度函数，表示在参数$\theta$下样本数据发生的可能性

例如，现在有一批往年下雨的数据样本，是杏下雨是由某些气象指标控制，如参数$\theta$表示空气的湿度，L(x; θ) 就表示在湿度参数$\theta$下下雨的可能性，参数$\theta$可以取值${\theta }_1,{\theta }_2...{\theta }_n$，每个参数${\theta }_i$会得到对应的似然函数值, 如果某个${\theta }_i$似然函数值大，代表该样本在这个参数下发生的可能性更大些 ，所以把称为“似然函数”，用来表示参数$\theta$取值和样本数据的关联程度。

1. 对于$f(x|\theta =0.25)$表示当空气湿度参数取 25% 时，随机变量:X 等于"不下雨、大雨、小雨"等不同值时发生的概率

似然函数$L(x;\theta )$的理解过程正好相反，我们关注的量不再是事件的发生概率，而是已经知发生了某些事件 ，即已知数据样本的情况下，希望知道参数$\theta$应该是多少，所以似然函数 L(x; θ)
是关于$\theta$ 的函数 。

例如当数据样本$X$值为"小雨"时， 空气湿度参数 $\theta$取不同值时发生的概率$f(x{=}^{\prime }小{雨}^{\prime }|{\theta }_1)=0.25$，$f(x{=}^{\prime }小{雨}^{\prime }|{\theta }_2)=0.6....$

似然函数定义

对离散型总体$X$其分布律为事件$P(X=x)=p(x,{\theta }_1，...，{\theta }_k)$ ，事件A = { X 1 = x 1 , X 2 = x 2 . . . X n = x n } \left \{X_{1}=x_{1}, X_{2}=x_{2}... X_{n}=x_{n} \right \} {X1​=x1​,X2​=x2​...Xn​=xn​}, 事件A发生的概率记为 $L(x;{\theta }_1，...，{\theta }_k)$为样本的似然函数，指在已知某些观测结果时，对有关事物性质的参数进行估计，似然函数取得最大值表示相应的参数能够使统计模型最为合理，此时的参数$\hat{\theta }$称为$\theta$的最大似然估计

求解最大似然估计

求未知参数的最大似然估计问题，归结为求似然函数$L(x|\theta )$的大值点的问题。当似然函数关于未知参数可微时，可利用微分学中求最大值的方法来求解。
主要步骤如下：

1. 写出似然函数$L(x|\theta )=L(x_1，...，x_n,\theta )$
2. 对似然函数或对数似然函数求导，并令导数为0，求出$\theta$的最大似然估计

因函数 In 的单调递增函数，且函数 In L 与函数 L有相同的极值点故转化为求函数 InL 的最大值点较方便

数学案例–最大似然估计

现在有一个正反不均匀的硬币，如果正面朝上记为 H,反面T，硬币抛 10 次的结果为：T, T, H, T, T, H, T, H, T, H。设硬币正面朝上的概率是$\theta$

解： $$L(x;\theta )=\prod _{i=1}^{n}P(x;\theta )=\prod _{i=1}^n{\theta }^{x_i}(1-\theta {)}^{1-x_i}$$

其中xi= 1为正面，xi=0表示反面朝上

最大似然估计提供了一种通过给定的观察数据来评估模型参数的方法，即"模型已定，参数未知" 简单而言，假设统计全国人口的身高，首先假设这个身高服从正态分布，但是该分布的均值与方差未知 我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中正态分布的均值和方差