最大似然估计

最新推荐文章于 2022-02-27 13:06:48 发布

jose_yubin

最新推荐文章于 2022-02-27 13:06:48 发布

阅读量408

点赞数 1

分类专栏：机器学习数学基本概念

本文链接：https://blog.csdn.net/qq351564759/article/details/79894692

版权

机器学习数学基本概念专栏收录该内容

3 篇文章 0 订阅

订阅专栏

最大似然(likelihood)原理

假设一个随机试验，有若干可能结果 $A_{1},A_{2},A_{3},...$
如果只进行一次实验，而结果 $A_{k}$ 出现了，那么我们就认为实验的条件对结果 $A_{k}$ 的出现最有利。即实验出现的结果 $A_{k}$ 的概率最大

最大似然法的基本思想

对于已经出现的样本值 $x_{1},x_{2},x_{3},...$ ，适当的选取参数 $\theta$ ，使实验得出结果 $X_{1}=x_{1},X_{2}=x_{2},X_{3}=x_{3},...$ 的概率最大

最大似然估计法的模型

设总体X为离散型随机变量，分布律为

P {X = x} = p (x; θ)

$P\left \{ X=x \right \}=p\left ( x;\theta \right )$
其中

θ θ $\theta$ 是未知参数，

X1,X2,X3,... X 1 , X 2 , X 3 , . . . $X_{1},X_{2},X_{3},...$ 是来自总体

X X $X$ 的样本，

x_{1}, x_{2}, x_{3}, . . .

$x_{1},x_{2},x_{3},...$ 是一组样本值。记

L (θ) = P {X 1 = x 1, X 2 = x 2, . . ., X n = x n}

$L\left ( \theta \right ) = P\left \{ X_{1}=x_{1},X_{2}=x_{2},...,X_{n}=x_{n}\right \}$
满足独立同分布的情况下上式等于

L (θ) = \prod i = 1 n P {X i = x i} = \prod i = 1 n P {x i; θ}

$L\left ( \theta \right )=\prod_{i=1}^{n}P\left \{ X_{i}=x_{i} \right \}= \prod_{i=1}^{n}P\left \{ x_{i};\theta \right \}$
称

L(θ) L ( θ ) $L\left ( \theta \right )$ 为样本

x1,x2,x3,... x 1 , x 2 , x 3 , . . . $x_{1},x_{2},x_{3},...$ 的似然函数。
由于

x1,x2,x3,... x 1 , x 2 , x 3 , . . . $x_{1},x_{2},x_{3},...$ 是已经知道的，因此上述

L(θ) L ( θ ) $L\left ( \theta \right )$ 是关于

θ θ $\theta$ 的一元函数。
由于

L(θ) L ( θ ) $L\left ( \theta \right )$ 是事件

{X1=x1,X2=x2,...,Xn=xn} { X 1 = x 1 , X 2 = x 2 , . . . , X n = x n } $\left \{ X_{1}=x_{1},X_{2}=x_{2},...,X_{n}=x_{n}\right \}$ 的概率，由最大似然函数的思想，希望求出的这样的

θ̂ θ ^ $\hat{\theta}$ ,使得

L(θ̂ ) L ( θ ^ ) $L\left ( \hat{\theta}\right )$ 达到

L(θ) L ( θ ) $L\left ( \theta \right )$ 的最大值