变分距离度量概率分布之间的差异

变分距离

  变分距离（variational distance）是一种用于衡量两个概率分布间差异的度量方法。它衡量的是从一个概率分布转换为另一个概率分布所需的最小代价，通常用于比较两个概率分布的相似性或差异性。

  给定两个概率分布P和Q，变分距离通过最小化一个目标函数来度量它们之间的差异。目标函数通常采用Kullback-Leibler散度（KL散度）或Jensen-Shannon散度（JS散度）来定义。KL散度衡量了P相对于Q的信息损耗，而JS散度是KL散度的对称平均。