python计算矩阵的散度_数据集相似度度量之KL&JS散度

原标题：数据集相似度度量之KL&JS散度

一、KL散度

1、什么是KL散度

KL散度又叫相对熵，是描述两个概率分布差异的一种方法，有人将KL散度称为KL距离，但实际上它不满足距离概念中的两个条件，a、对称性，即D(P||Q)=D(Q||P); b、三角不等式；

2、有什么样的作用

模型效果好不好，在数据划分上大有讲究，如果训练集与测试集数据分布不满足同分布，模型表现必然不会太好，因此划分数据集之后对于两个数据分布验证变得非常重要，针对分类任务验证概率质量相似度，针对回归问题验证两者的概率密度相似度，两者分布越相似，相对熵越接近于0；

3、实现方式

a、离散性标签，各标签概率及相应对数求和操作

b、连续型标签，针对x的无个数区间概率及对数积分操作

fromsklearn importdatasets

fromcollections importCounter

importnumpy asnp

random_state= 32

defgetData(n_classes ,weights ,n_features ,n_samples):

train ,label=datasets.make_classification( n_classes=n_classes ,class_sep= 2,weights=weights ,n_features=n_features ,n_samples=n_samples ,random_state=random_state)

returntrain ,label

<