统计学上,KL散度用来衡量一个概率分布Q对另一个概率分布P偏离的程度,记为 DKL(P||Q) . 在信息论的编码理论中,KL散度也称为相对熵(relative entropy)或信息增益(information gain). 在,用来度量使用 Q 的最优编码(而不是使用
由香农信息论,给定一个字符集的概率分布,可以设计一种编码,使得表示该字符集组成的字符串平均需要的比特数最少. 假设这个字符集是
H(x)=−
统计学上,KL散度用来衡量一个概率分布Q对另一个概率分布P偏离的程度,记为 DKL(P||Q) . 在信息论的编码理论中,KL散度也称为相对熵(relative entropy)或信息增益(information gain). 在,用来度量使用 Q 的最优编码(而不是使用
由香农信息论,给定一个字符集的概率分布,可以设计一种编码,使得表示该字符集组成的字符串平均需要的比特数最少. 假设这个字符集是