Probability Density Reweight

最新推荐文章于 2024-07-25 12:55:52 发布

吊儿郎当的凡

最新推荐文章于 2024-07-25 12:55:52 发布

阅读量226

点赞数

分类专栏：算法数学基础文章标签：算法机器学习概率论

本文链接：https://blog.csdn.net/weixin_43269419/article/details/126034152

版权

数学基础同时被 2 个专栏收录

4 篇文章 0 订阅

订阅专栏

算法

2 篇文章 0 订阅

订阅专栏

Probability Density Reweight

Reweight 是通过将采样样本乘以 reweight 权重，从而将样本从原始密度 $P_0$ 转移至新密度 $P_1$ 的方法。
当从原始密度采样样本 $x$ 时， $x$ 的期望为
$E_{x \sim P_0}[x] = \int P_0(x)x dx \approx \frac{1}{N} \sum_i x_i \tag{1}$

其中， $x_i$ 为采样点， $N$ 为采样个数。
我们的目的是将 $\sim P_0$ 转换为 $\sim P_1$ ，即求得 $x$ 在 $P_1$ 上的期望
$E_{x \sim P_1}[x] \approx \frac{1}{N} \sum_i w(x_i) · x_i \tag{2} \\ w(x_i) = P_1(x_i) / P_0(x_i)$

其中， $w(x_i)$ 表示 reweight 权重，证明如下所示。
采样时将 $x_i$ 乘以 $w(x_i)$ ，根据式 1 可得
$\frac{1}{N}\sum_i \frac{P_1(x_i)}{P_0(x_i)}x_i \approx \int P_0(x) \frac{P_1(x)}{P_0(x)}x dx = \int P_1(x)xdx = E_{x \sim P_1}[x] \tag{3}$

要注意，上述所说的概率密度为标准概率密度，即在定义域内积分为 1 。若 $P_0$ 和 $P_1$ 为非标准概率密度，需要
$E_{x \sim P_0}[x] = \frac{1}{\int P_0(x) dx} \int P_0(x)x dx\approx \frac{1}{N} \sum_i x_i \tag{4}$

$x$ 在 $P_1$ 上的期望变为
$E_{x \sim P_1}[x] \approx \frac{\sum_i w(x_i) · x_i}{\sum_i w(x_i)} \tag{5}$

证明如下
$\frac{1}{N}\sum_i \frac{P_1(x_i)}{P_0(x_i)}x_i \approx \frac{1}{\int P_0(x) dx} \int P_1(x)xdx = \frac{\int P_1(x) dx}{\int P_0(x) dx} E_{x \sim P_1}[x] \approx {\sum_i w(x_i)}E_{x \sim P_1}[x]$