js散度(Jensen-Shannon散度)

js散度(Jensen-Shannon散度)

公式

• 针对KL散度的不对称性，詹森和香农提出一种新的相对熵的计算方法，定义于两个概率分布上，根据KL散度构造，同样描述了两个概率分布的差异，且具有对称性
  $$D_{JS}(p||q)=\frac{1}{2}{D}_{KL}(p||m)+\frac{1}{2}{D}_{KL}(q||m)$$
  其中概率分布m为p和q的均值
  $$m(x)=\frac{p(x)+q(x)}{2}$$

性质

• JS三度非负，JS散度越大，两个概率分布之间的差异越大

• JS散度具有对称性

• 当且仅当两个概率分布相同时，JS散度等于0
  $$\begin{array}{rl}\because m(x)& =\frac{p(x)+q(x)}{2}=p(x)=q(x)\\ \therefore D_{JS}(p||q)& =\frac{1}{2}{D}_{KL}(p||m)+\frac{1}{2}{D}_{KL}(q||m)\\ & =\frac{1}{2}{D}_{KL}(p||p)+\frac{1}{2}{D}_{KL}(p||p)\\ & =D_{KL}(p||p)\\ & =0\end{array}$$

---