1.交叉熵 参见:https://zhuanlan.zhihu.com/p/56638625 进一步说明: 2.相对熵(也称之为:KL散度) 3.互信息 互信息越大,说明X越依赖于Y,Y透露出的信息越大 ref: 各种熵的介绍