似然函数（Likelihood Function）

似然函数（Likelihood Function）是统计学中的一个重要概念，用于衡量一组观察数据在假设的不同参数值下发生的可能性。

在参数估计中，极大似然估计（Maximum Likelihood Estimation, MLE）是一个常用的技术，它基于似然函数来找到最有可能产生观察数据的参数值。

下面我们将详细探讨似然函数的概念、公式及其在极大似然估计中的应用。

似然函数定义

假设我们有一组独立同分布（IID）的观察数据 $X_1,X_2,\dots ,X_n$，它们的分布由参数 $\theta$ 决定。

似然函数 $L(\theta |x_1,x_2,\dots ,x_n)$ 定义为当参数为 $\theta$ 时，数据集 $(x_1,x_2,\dots ,x_n)$ 发生的概率。

然而，在似然函数的上下文中，我们考虑参数 $\theta$ 为变量，而观察数据作为固定值。

似然函数的公式

对于连续型随机变量，似然函数可以表示为：

$$L(\theta |x_1,x_2,\dots ,x_n)=f(x_1|\theta )f(x_2|\theta )\cdots f(x_n|\theta )=\prod _{i=1}^{n}f(x_i|\theta )$$

其中，$f(x_i|\theta )$ 是观察 $x_i$ 在参数 $\theta$ 下的概率密度函数。

对于离散型随机变量，似然函数可以表示为：

$$L(\theta |x_1,x_2,\dots ,x_n)=P(X_1=x_1|\theta )P(X_2=x_2|\theta )\cdots P(X_n=x_n|\theta )=\prod _{i=1}^{n}P(X_i=x_i|\theta )$$

其中，$P(X_i=x_i|\theta )$ 是观察 $x_i$ 在参数 $\theta$ 下的概率质量函数。

极大似然估计

极大似然估计的目标是找到参数 $\theta$ 的值，使得似然函数 $L(\theta |x_1,x_2,\dots ,x_n)$ 达到最大。这个参数值记作 $\hat{\theta }$。

目标公式

极大似然估计的数学表达式可以写作：

$$\hat{\theta }=\arg \underset{\theta }{\max }L(\theta |x_1,x_2,\dots ,x_n)$$

公式的应用

为了简化计算，通常会使用似然函数的对数形式，因为对数函数是单调递增的，所以极大化似然函数等价于极大化其对数。对数似然函数定义为：

$$\log L(\theta |x_1,x_2,\dots ,x_n)=\sum _{i=1}^n\log (f(x_i|\theta ))$$

接下来，我们对 $\log L(\theta |x_1,x_2,\dots ,x_n)$ 关于 $\theta$ 求导数，并设导数等于零来找到极值点：

$$\frac{d}{d\theta }\log L(\theta |x_1,x_2,\dots ,x_n)=0$$

解这个方程就可以找到极大似然估计 $\hat{\theta }$。

示例

以伯努利试验为例，假设每次试验成功的概率为 $\theta$，我们观察到了 $k$ 次成功，共进行了 $n$ 次试验。似然函数为：

$$L(\theta |x=k)=(\genfrac{}{}{0ex}{}{n}{k}){\theta }^k(1-\theta {)}^{n-k}$$

对数似然函数为：

$$\log L(\theta |x=k)=k\log (\theta )+(n-k)\log (1-\theta )$$

对 $\theta$ 求导数并设为零：

$$\frac{k}{\theta }-\frac{n-k}{1-\theta }=0$$

解得极大似然估计 $\hat{\theta }=\frac{k}{n}$。

以上就是似然函数和极大似然估计的详细介绍，包括它们的定义、公式、目标以及如何在实际问题中应用。