在空间Ω上(欧式空间)P和Q是两个概率分布,并且有P对于Q绝对连续。然后,对于凸函数f有f(1)= 0,Q对P的f-散度定义为:
如果P和Q都相对于欧式空间上的参考分布μ绝对连续,那么可有它们的概率密度p和q均满足dP = pdμ和dQ = qdμ。 在这种情况下,f分散可以写成:
根据f函数不同的形式可以得到很多其他散度的形式:
JS散度与KL散度的关系表达式:
JS(P1||P2)=12KL(P1||P1+P22)+12KL(P2||P1+P22)