KL散度及其python实现

KL散度又是一个从信息论、熵的角度考量距离的一个量。但是，这里说他是距离有点不妥，因为距离需要满足4个条件：

1) d(x,x) = 0                    反身性
2) d(x,y) >= 0                  非负性
3) d(x,y) = d(y,x)              对称性
4) d(x,k)+ d(k,y) >= d(x,y)    三角形法则

但是，很遗憾，我们的KL散度至满足前面两条，后面介绍的对称KL也只能满足前面三条。所以，我们叫KL散度，而不是叫KL距离。

1.KL定义与计算

计算公式就是如此简单。我们做个例题吧。<