机器学习若干问题物理意义——信息熵

Kullback-Leibler散度（KL散度）：考虑某个未知分布p(x)，假定我们已经使用一个近似的分布q(x)对它进行了建模。如果使用q(x)来建立一个编码体系，用来把x的值传送给接收者，那么，由于使用q(x)而不是真实分布p(x)，因此在具体化x的值时，需要一些附加信息，KL散度表示的就是所需平均的附加信息量。KL(p || q) >= 0，当且仅当p(x) = q(x)时等号成立

这个公式表示采用q(x)编码体系编码真实分布p(x)所需要的信息量

互信息：考虑由p(x,y)给出的两个变量x和y组成的数据集，如果变量的集合是独立的，则p(x,y) = p(x)p(y)，如果变量不是独立的，那么我们可以通过考察联合概率分布与边缘分布乘积之间的KL散度来判断它们是否“接近”于相对独立。此时，KL散度为：

根据KL散度的性质，I[x,y] >= 0，当且仅当x和y相互独立时等号成立。进一步有，

因此我们可以把互信息看成由于知道y值而造成的x的值得不确定性的减少。