原标题:数据集相似度度量之KL&JS散度
一、KL散度
1、什么是KL散度
KL散度又叫相对熵,是描述两个概率分布差异的一种方法,有人将KL散度称为KL距离,但实际上它不满足距离概念中的两个条件,a、对称性,即D(P||Q)=D(Q||P); b、三角不等式;
2、有什么样的作用
模型效果好不好,在数据划分上大有讲究,如果训练集与测试集数据分布不满足同分布,模型表现必然不会太好,因此划分数据集之后对于两个数据分布验证变得非常重要,针对分类任务验证概率质量相似度,针对回归问题验证两者的概率密度相似度,两者分布越相似,相对熵越接近于0;
3、实现方式
a、离散性标签,各标签概率及相应对数求和操作
b、连续型标签,针对x的无个数区间概率及对数积分操作
fromsklearn importdatasets
fromcollections importCounter
importnumpy asnp
random_state= 32
defgetData(n_classes ,weights ,n_features ,n_samples):
train ,label=datasets.make_classification( n_classes=n_classes ,class_sep= 2,weights=weights ,n_features=n_features ,n_samples=n_samples ,random_state=random_state)
returntrain ,label
<