似然函数

似然函数表示了在给定参数 $\theta$的情况下，观测数据 $X$ 发生的概率。对于连续分布和离散分布，似然函数的具体形式有所不同。

连续分布的似然函数：

如果观测数据 $X$ 来自于连续分布，似然函数 $L(\theta |X)$ 通常表示为概率密度函数 $f(x|\theta )$ 关于参数 $\theta$ 的乘积（对每个观测值）或密度函数的乘积：

$L(\theta |X)={\prod }_{i=1}^{n}f(x_i|\theta )$

其中，$f(x|\theta )$ 是连续分布的概率密度函数，$x_i$ 是观测数据中的每个观测值。

离散分布的似然函数：

如果观测数据 $X$ 来自于离散分布，似然函数 $L(\theta |X)$ 表示为概率质量函数$P(X|\theta )$ 关于参数 $\theta$ 的乘积（对每个观测值）：

$L(\theta |X)={\prod }_{i=1}^{n}P(x_i|\theta )$

其中，$P(x|\theta )$ 是离散分布的概率质量函数，$x_i$ 是观测数据中的每个观测值。

对数似然函数：

在实际应用中，通常会使用对数似然函数（Log-Likelihood Function），因为它将连乘转化为连加，更方便计算和优化：

$\log L(\theta |X)={\sum }_{i=1}^n\log f(x_i|\theta )$

或

$\log L(\theta |X)={\sum }_{i=1}^n\log P(x_i|\theta )$

对数似然函数常用于估计参数，例如最大似然估计中，通过最大化对数似然函数来找到最可能的参数值。