推土机距离（Wasserstein distance）以及其他几种常用的分布差异度量方法（mark）

---

---

1. Wasserstein距离

1.1 方法简介
Wasserstein Distance也称为推土机距离（Earth Mover’s distance, EMD)，Wasserstein Distance的定义是评估由P分布转换成Q分布所需要的最小代价(移动的平均距离的最小值)→和挖东墙补西墙类似(把一个形状转换成另一个形状所需要做的最小工)，类似于把一块地方土挖出来，然后填平另一块地方，而W距离找的的是这一过程中挖每一方土最小需要消耗的能量，所以经常查到Wasserstein Distance称为推土机距离。

1.2 方法优势
虽然KL散度和JS散度应用更为广泛，Wessertein距离相比KL散度和JS散度的优势在于：即使两个分布的支撑集没有重叠或者重叠非常少，仍然能反映两个分布的远近。而JS散度在此情况下是常量，KL散度可能无意义。
K-L 散度和 JS 散度取值是突变的，要么最大要么最小，Wasserstein 距离却是平滑的。如果我们要用梯度下降法优化参数，