chao_shine的博客

为了更好的理解交叉熵的意义，先介绍一下相对熵的概念1、相对熵基本概念相对熵又称为KL散度（Kullback–Leibler divergence），用来描述两个概率分布的差异性。假设有对同一变量xxx的q(x)q(x)q(x)和p(x)p(x)p(x)两个概率分布,那么两者之间的相对熵可由以下定义：DKL(p∥q)=∑i=1Np(xi)log⁡(p(xi)q(xi))D_{K L...