1、C++示例代码
for (int i = 0; i < model_size; ++i) {
// 模型i更新
imm_ukf_[i].Update(Z, ntime);
// 模型i观测值与预测值的差
Eigen::VectorXd Zminus = imm_ukf_[i].Get_Zminus();
// 模型i的预测协方差矩阵
Eigen::MatrixXd S = imm_ukf_[i].Get_S();
// 计算模型i的似然值
model_ita[i] = 1/(sqrt(2*M_PI)*sqrt(fabs(S.determinant())))*exp(-0.5* Zminus.transpose() * S.inverse() * Zminus);
}
2、似然值介绍
似然值(Likelihood Value)是统计学中的一个重要概念,尤其在参数估计和模型选择中扮演着关键角色。它描述了给定一组观测数据下,某个模型或参数取值“看起来”或“似乎”有多合理或可能。具体来说,似然值并不是概率,因为它并不表示某个事件发生的可能性;相反,它表示在给定的模型或参数条件下,观测数据出现的可能性。
定义
在数学上,似然函数(Likelihood Function)定义为在给定观测数据
X
\ {X}
X的条件下,模型参数
z
\ {z}
z的函数
L
(
θ
∣
X
)
)
\ {L(\theta∣X))}
L(θ∣X))。这个函数的值表示在参数
θ
{\theta}
θ取值下,观测数据
X
\ {X}
X出现的“似然性”或“合理性”。注意,这与概率函数
L
(
X
∣
θ
)
)
\ {L(X∣\theta))}
L(X∣θ))在形式上可能相同,但它们的解释是不同的:概率函数描述了在已知参数下观测数据出现的概率,而似然函数则用于在给定的观测数据下评估不同参数值的合理性。
性质
非负性:似然值总是非负的,因为概率总是非负的。
归一化:对于离散分布,所有可能参数值下的似然值之和(或对于连续分布,似然值的积分)并不等于1,因为似然值不是概率。但是,在最大似然估计(Maximum Likelihood Estimation, MLE)中,我们关注的是找到使似然函数最大的参数值,而不是似然值的绝对大小。
相对性:在比较不同参数值或不同模型的似然值时,我们关注的是它们的相对大小,而不是它们的绝对大小。
3、数学公式
在统计学和机器学习中,当我们有一个模型,该模型给出了预测值以及这些预测的不确定性(通常以协方差矩阵的形式给出),并且我们有一组实际的测量值时,我们可以使用这些信息来计算模型的似然值。通常,这种计算假设测量值和预测值之间的差异遵循高斯(正态)分布。
假设我们有:
-
z ^ \hat {z} z^:模型的预测值(向量)
-
z \ {z} z:实际的测量值(向量)
-
S \ {S} S:预测的协方差矩阵(对称正定矩阵)
我们想要计算的是,在给定预测值和协方差矩阵的情况下,观测到实际测量值的似然值。这可以通过高斯分布的概率密度函数(PDF)来实现。
高斯分布的PDF为:
p
(
z
∣
μ
,
Σ
)
=
1
(
2
π
)
n
∣
Σ
∣
e
x
p
(
−
1
2
(
z
−
μ
)
T
Σ
−
1
(
z
−
μ
)
)
p(z | \mu , \Sigma)=\frac {1} {\sqrt{(2\pi)^{n}|\Sigma|} exp(-\frac {1} {2}(z-\mu)^{T}\Sigma^{-1}(z-\mu))}
p(z∣μ,Σ)=(2π)n∣Σ∣exp(−21(z−μ)TΣ−1(z−μ))1
其中,
- z z z是 n n n维观测向量
- μ \mu μ是 n n n维均值向量(在我们的情况下,它是 z ^ \hat {z} z^)
- Σ \Sigma Σ是 n × n n \times n n×n协方差矩阵(在我们的情况下,它是 S S S)
- ∣ Σ ∣ |\Sigma| ∣Σ∣是 Σ \Sigma Σ的行列式
将
μ
=
z
^
\mu=\hat {z}
μ=z^和
Σ
=
S
\Sigma=S
Σ=S代入上式,我们得到:
p
(
z
∣
z
^
,
S
)
=
1
(
2
π
)
n
∣
S
∣
e
x
p
(
−
1
2
(
z
−
z
^
)
T
S
−
1
(
z
−
z
^
)
)
p(z | \hat {z} , S)=\frac {1} {\sqrt{(2\pi)^{n}|S|} exp(-\frac {1} {2}(z-\hat {z} )^{T}S^{-1}(z-\hat {z}))}
p(z∣z^,S)=(2π)n∣S∣exp(−21(z−z^)TS−1(z−z^))1
这个 p ( z ∣ z ^ , S ) p(z | \hat {z} , S) p(z∣z^,S)就是我们想要的似然值。它衡量了在给定预测 z ^ \hat {z} z^和预测协方差 S S S的情况下,观测到 z z z的“合理性”或“可能性”。