数据挖掘学习日志(part1)--熵值法

学习笔记,仅供参考


熵值法


信息熵介绍

信息熵是将系统无序程度的度量,信息是系统有序程度的度量,二者绝对值相等但符号相反,某项指标的指标值变异程度越大,信息熵就越小,该指标提供的信息量就越大,该指标的权重也应越大;反之,某项指标的指标值变异程度越小,信息熵越大,该指标提供的信息量越小,该指标的权重也应越小。

计算步骤

首先,我们由于指标体系中的各个指标的量纲、数量级不同,我们需要对它们进行无量纲化处理,具体方法如下:

P o s i t i v e    i n d i c a t o r s : x i j ′ = x i j − x m i n x m a x − x m i n N e g a t i v e    i n d e x : x i j ′ = x m a x − x i j x m a x − x m i n Positive \; indicators:x'_{ij} = \frac{x_{ij}-x_{min}}{x_{max}-x_{min}} \\Negative \; index: x'_{ij} = \frac{x_{max}-x_{ij}}{x_{max}-x_{min}} Positiveindicators:xij=xmaxxminxijxminNegativeindex:xij=xmaxxminxmaxxij

其中, x i j x_{ij} xij为第 i i i个样本第 j j j个指标的指标值, x m a x x_{max} xmax为第 j j j个指标的最大值, x m i n x_{min} xmin为第 j j j个指标的最小值,其中有 m m m个样本, n n n个指标。


根据各项指标值的变异程度,利用信息熵工具,计算出各指标权重,具体步骤为:

  • 将各指标同度量化,计算第 j j j项指标下第 i i i个样本指标值的比重

p i j = x i j ∑ i = 1 m x i j p_{ij}= \frac{x_{ij}}{\sum_{i=1}^m x_{ij}} pij=i=1mxijxij

  • 计算第 j j j项指标的熵值 e j e_j ej

$$ e_j = -k \sum_{i=1}^m p_{ij}lnp_{ij} $$

其中, k > 0 k>0 k>0 e j ≥ 0 e_j \ge 0 ej0,如果 x i j x_{ij} xij对于给定的 j j j全部相等。则 p i j = 1 m p_{ij}=\frac{1}{m} pij=m1,此时 e j e_j ej取极大值,即:


e j = − k ∑ i = 1 m 1 m l n 1 m = k l n m e_j = -k \sum_{i=1}^m \frac{1}{m} ln \frac{1}{m} = klnm ej=ki=1mm1lnm1=klnm

若设 k = 1 l n m k=\frac{1}{lnm} k=lnm1,于是有 0 ≤ e j ≤ 1 0\le e_j \le 1 0ej1.


  • 计算第 j j j项指标的差异性系数 g i g_i gi


g j = 1 − e j g_j=1-e_j gj=1ej


  • 对于差异性系数进行归一化,可计算出各指标的权重

w j = g j ∑ k = 1 m g k w_j = \frac{g_j}{\sum_{k=1}^m g_k} wj=k=1mgkgj


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GoatGui

谢谢支持!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值