12章未归一化统计模型的估计

最新推荐文章于 2025-04-08 15:11:35 发布

Manigoldo_

最新推荐文章于 2025-04-08 15:11:35 发布

阅读量790

点赞数 2

文章标签：图像处理

本文链接：https://blog.csdn.net/qq_21149391/article/details/124096553

版权

统计模型通常基于非归一化概率密度。也就是说，模型包含了一个未知的难以计算的归一化常数。在本章中，我们将展示如何使用不同的估计方法来估计这些模型。

21.1 未归一化统计模型

假设我们观察到一个随机向量 $\textbf{x}\in\mathbb{R}^{n}$ ，它的概率密度函数 (pdf) 由 $p_{\textbf{x}}(\cdot )$ 表示。我们有一个参数化的密度模型 $p(.;\theta)$ ，其中 $\theta$ 是m 维向量的参数。我们想根据 $\textbf{x}$ 来估计参数 $\theta$ ，即，我们想用 $p(\cdot ;\widetilde{\theta})$ 来近似 $p_{\textbf{x}}(\cdot )$ 以获得估计的参数值 $\widetilde{\theta}$ 。（为了避免随机变量和积分变量之间的混淆，我们使用 $\xi$ 作为积分变量。）

考虑：我们只能计算模型给出的 pdf，除了乘法常数 $1/Z(\theta)$ ：

$p(\xi;\theta)=\frac{1}{Z(\theta)}q(\xi;\theta)$

也就是说，我们知道 $q$ 的函数形式是一个解析表达式（或任何可以轻松计算的形式），但我们不知道如何计算 $Z$ ，它由通常难以解析的积分给出：

$Z(\theta)=\int_{\xi\in\mathbb{R}^{n}}q(\xi;\theta)d\xi$

实际上，对于高维度（任何 n>2），这个积分值是不可能计算的。因此，不能容易地进行最大似然估计。

一种解决方案是使用蒙特卡罗方法逼近归一化常数 $Z$ 。在本章中，我们将讨论一种更简单的方法，称为分数匹配(Score Matching)。

21.2 分数匹配估计

在下文中，我们广泛使用对数密度对于数据向量的梯度。为简单起见，我们将其称为得分函数（score function），它的传统定义是关于假设位置参数的得分函数。对于模型密度，我们用 $\mathbf{\psi}(\xi;\theta)$ 表示得分函数：

$\psi(\xi;\theta)=\begin{pmatrix} \frac{\partial \log p(\xi;\theta)}{\partial\xi_1}\\ \\ ...\\ \\ \frac{\partial \log p(\xi;\theta)}{\partial\xi_n}\\ \end{pmatrix}= \begin{pmatrix} \psi_1(\xi;\theta)\\ \\ ...\\ \\ \psi_n(\xi;\theta)\\ \end{pmatrix}=\bigtriangledown _\xi \log p(\xi;\theta)$

使用分数函数的重点是它不依赖于 $Z(\theta)$ 。事实上，我们显然有

$\psi(\xi;\theta)=\bigtriangledown _\xi \log q(\xi;\theta)$

同样，我们用 $\psi_\textbf{x}(\cdot)=\bigtriangledown_\xi \log p_\textbf{x}(\cdot)$ 表示观测数据 $\textbf{x}$ 的分布的得分函数。原则上，这可以通过计算 pdf 的非参数估计的对数梯度来估计——但我们将在下面看到，不需要这样的计算。（注意，得分函数是从 $\mathbb{R}^n$ 到 $\mathbb{R}^n$ 的映射）