P和q不满足对称性,所以不是真正的“距离”
(数学中的距离必须满足非负性、对称性、三角不等式)
当两个概率分布完全相同时,相对熵为0
【证明:
(1) 若存在x使得q(x)=0,则D(q||p)=∞
(2) 若q(x)> 0,
D(q||p)
P和q不满足对称性,所以不是真正的“距离”
(数学中的距离必须满足非负性、对称性、三角不等式)
当两个概率分布完全相同时,相对熵为0
【证明:
(1) 若存在x使得q(x)=0,则D(q||p)=∞
(2) 若q(x)> 0,
D(q||p)