似然函数与概率密度函数的区别

条件概率密度$p(\boldsymbol{x}|\theta)$与似然函数$p(\boldsymbol{x};\theta)$有着千丝万缕的关系，两者所表示的意义不同，但是大多数情况下，两者数值上是相等的（量纲不等）。而在有些时候，两者数值又是不等的。

1. 引入

现代估计理论在许多设计用来提取信息的电子信号处理系统中随处可见，这些系统包括雷达信号处理、声纳、蜂窝网络等。

在所有的这些系统中，我们都将面对根据连续时间波形（观测数据）提取参数的问题，由于使用数字计算机来采样并储存连续时间波形，因此该问题就等价于从离散时间波形或一组数据集中提取参数的问题。从数学概念上来说，我们有$N$个数据的数据集$\boldsymbol{x}=\left\{{x[0], x[1], \cdots,x[N-1]}\right\}$, 它与未知参数$\theta$有关，我们希望根据数据来确定$\theta$，定义如下的估计量

$$\begin{align} \hat{\theta}=\text{g}(\boldsymbol{x}) \end{align}$$
其中 $\text{g}$表示 $\mathbb{R}^N\rightarrow \mathbb{R}$的映射，这就是 参数估计问题。

2. 问题描述

那么如何从根据观测量来确定估计量呢？ 在确定好的估计量时，第一步就是建立数学模型。由于数据固有的随机性，我们用它的概率密度函数（Probability density function，PDF）来描述它，即$p(x[0],x[1],\cdots,x[N-1]; \theta)$，或$p(\boldsymbol{x};\theta)$。这是一个以$\theta$为未知参数的函数，即我们有一族（cluster）PDF，其中的每一个PDF由于$\theta$的不同而不同。因此，我们使用“分号”来表示这种关系。注意，这里的自变量是$\theta$。此外，$\theta$可以是单变量，也可以是多变量。

为了方便理解，我们假设是单变量的情况，并且$\theta$与观测量$\boldsymbol{x}$之间的关系表示如下

$$\begin{align} p(x[0];\theta)=\frac{1}{\sqrt{2\pi \sigma^2}}\exp\left[{-\frac{1}{2\sigma^2}(x[0]-\theta)^2}\right] \end{align}$$
如图所示，由于 θ