Wasserstein GAN中 Earth-Mover (EM) distance 的理解

最新推荐文章于 2022-03-06 09:27:13 发布

开心就哈哈

最新推荐文章于 2022-03-06 09:27:13 发布

阅读量1.5k

点赞数

分类专栏： GAN

本文链接：https://blog.csdn.net/pain_gain0/article/details/107034215

版权

GAN 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1. Wasserstein GAN 论文的第2节Different Distances中给出Earth-Mover (EM) distance的定义形式：

将公式（1）的期望形式转换成积分形式：

$W(\mathbb{P}_{r},\mathbb{P}_{g})=\inf_{\gamma \in \prod (\mathbb{P}_{r}, \mathbb{P}_{g})}\int \int \gamma (x,y) \left \| x-y \right \| d_{x} d_{y}$

》 $\prod (\mathbb{P}_{r}, \mathbb{P}_{g})$ 是 $\mathbb{P}_{r}, \mathbb{P}_{g}$ 组合起来的所有可能的联合分布的集合【1】；

》根据文献【2】， $\left \| x-y \right \|$ 是L1范数，其含义是成本函数，货物从x运输到y的成本；

》根据论文的描述， $\gamma(x,y)$ 表示为了把分布 $\mathbb{P}_{r}$ 变换成分布 $\mathbb{P}_{g}$ ，需要从x运输多少 “mass” 到 y；

结合文献【3】和文献【2】的描述，可以更好地理解 $\gamma(x,y)$ ， $\gamma$ 是一种运输方案，设 $\mathbb{P}_{r}$ 是原始分布， $\mathbb{P}_{g}$ 是目标分布。 $\mathbb{P}_{r}(x)$ 是指在原始分布的x的位置存放了 $\mathbb{P}_{r}(x)$ 量的货物，即原始分布的x的位置存放的货物量； $\mathbb{P}_{g}(x)$ 是目标分布的x位置存放的货物量；如果 $\mathbb{P}_{r}(x)> \mathbb{P}_{g}(x)$ ，就需要将 $\mathbb{P}_{r}(x)$ 一部分货物运输到目标分布的其他位置；如果 $\mathbb{P}_{r}(x)< \mathbb{P}_{g}(x)$ ，就需要将原始分布的其他位置的货物运输到该目标分布的位置。 $\gamma(x,y)$ 表示，从原始分布的x位置搬 $\gamma(x,y) d_{x}$ 那么多的货物目标分布的y位置；

因为 $\gamma \in \prod (\mathbb{P}_{r}, \mathbb{P}_{g})$ ，所以可以得到以下约束： $\int \gamma(x,y) dx = \mathbb{P}_{g}(y), \int \gamma(x,y) dy = \mathbb{P}_{r}(x)$

根据文献【3】，从离散随机随机变量的角度理解， $\int \gamma(x,y) dx = \mathbb{P}_{g}(y)$ 从原始分布的x位置运输到目标分布的y位置的货物量不能超过目标分布y位置的货物容量； $\int \gamma(x,y) dy = \mathbb{P}_{r}(x)$ 从原始分布的x位置运输到目标分布的y位置的货物量不能超过原始分布x位置的原有的货物量；（这样理解不知道对不对，本人能力有限，希望各位多多指点）

》inf 表示下确界，即在所有运输方案中，找到总运输成本 $\int \int \gamma (x,y) \left \| x-y \right \| d_{x} d_{y}$ 最小的方案。

2. 分析Wasserstein GAN 论文的案例1,如何计算得到 $W(\mathbb{P}_{0},\mathbb{P}_{\theta})=\left |\theta \right |$ :

根据案例的1的描述，可以得到以下示例图：

$W(\mathbb{P}_{0},\mathbb{P}_{\theta})=\inf_{\gamma \in \prod (\mathbb{P}_{0}, \mathbb{P}_{\theta})} \int_{0}^{1} \int_{0}^{1} \gamma (y_{1},y_{2}) \left \| y_{1}-y_{2} \right \| d_{y_{1}} d_{y_{2}}$

$\int_{0}^{1} \int_{0}^{1} \gamma (y_{1},y_{2}) \left \| y_{1}-y_{2} \right \| d_{y_{1}} d_{y_{2}} \newline=\left | \theta \right | \int_{0}^{1} \int_{0}^{1} \gamma(y_{1}, y_{2}) d_{y_{1}} d_{y_{2}} \newline=\left | \theta \right | \int_{0}^{1} \mathbb{P}_{\theta}(y_{2}) d_{y_{2}} \newline=\left | \theta \right |$

以上公式推导过程，主要利用前面 $\int \gamma(x,y) dx = \mathbb{P}_{g}(y), \int \gamma(x,y) dy = \mathbb{P}_{r}(x)$ 。

参考文献：

【1】https://mp.weixin.qq.com/s/LeycG3bW-TIdHCr2raZPrQ

【2】https://kexue.fm/archives/6280

【3】https://blog.csdn.net/wangdonggg/article/details/32329879?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-11.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-11.nonecase

开心就哈哈

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
Wasserstein GAN中 Earth-Mover (EM) distance 的理解

1. Wasserstein GAN 论文的第2节Different Distances中给出Earth-Mover (EM) distance的定义形式：将公式（1）的期望形式转换成积分形式：》是组合起来的所有可能的联合分布的集合【1】；》根据文献【2】，是L1范数，其含义是成本函数，货物从x运输到y的成本；》根据论文的描述，表示为了把分布变换成分布，需要从x运输多少 “mass” 到 y；结合文献【3】和文献【2】的描述，可以更好地理解，是一种运输方案，设是原始分布，是目标.
复制链接

扫一扫