归一化互信息(NMI)评价指标

最新推荐文章于 2024-03-03 23:11:19 发布

置顶易_

最新推荐文章于 2024-03-03 23:11:19 发布

阅读量4.3w

点赞数 12

分类专栏：机器学习文章标签：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/hang916/article/details/88783931

版权

机器学习专栏收录该内容

10 篇文章 3 订阅

订阅专栏

信息熵

对信息进行量化度量。可以理解为某种特定信息的出现概率。

计算公式

$\large H(X)=-\sum_i p(x_{i})logp(x_{i})$

相对熵

【百度百科】相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence，KL散度）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量。在在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值。

计算公式

设 $p(x),q(x)$ 是随机变量 $X$ 上的两个概率分布，则在离散与连续随机变量的情形下，相对熵的定义分别为：

$KL(p||q) = \sum p(x)log \frac{p(x)}{q(x)}$

$KL(p||q) = \int p(x)log \frac {p(x)}{q(x)}$

值得注意的是，KL散度可以理解为距离，但不是真的距离，即p对q的相对熵与q对p的相对熵不相等。即：

$KL(p||q) \neq KL(q||p)$

互信息

【百度百科】互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。

计算公式

设两个随机变量 $(X,Y)$ 的联合分布为 $p(x,y)$ ，边缘分布分别为 $p(x),p(y)$

互信息 $I(X;Y)$ 是联合分布 $p(x,y)$ 与乘积分布 $p(x)(y)$ 的相对熵，即公式为：

$I(X;Y)=\sum_x\sum_y p(x,y) log \frac{p(x,y)}{p(x)p(y)}$

归一化互信息(NMI)

顾名思义，将互信息放在[0,1]之间，容易评价算法的好坏。比较常见的归一化方法：

计算公式

$NMI(X;Y) = 2\frac {I(X;Y)}{H(X)+H(Y)}$

关注

12
点赞
踩
82

收藏

觉得还不错? 一键收藏
0
评论
归一化互信息(NMI)评价指标

信息熵对信息进行量化度量。可以理解为某种特定信息的出现概率。计算公式相对熵【百度百科】相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence，KL散度）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。