数据挖掘---熵权法的基本原理

一、熵权法介绍

　　熵权法是一种客观赋权方法，其基本思路是根据指标变异性的大小来确定客观权重。

　　依据的原理：指标的变异程度越小，所反映的信息量也越少，其对应的权值也应该越低。

二、熵权法步骤

（1）对数据进行预处理

假设有n个要评价的对象，m个评价指标（已经正向化）构成的正向化矩阵如下：

对数据进行标准化，标准化后的矩阵记为Z，Z中的每一个元素：

判断Z矩阵中是否存在负数，如果存在的话，需要对X使用另外一种标准化方法

对矩阵X进行一次标准化，标准化公式如下：

（2）计算第j项指标下第i个样本所占的比重，并将其看作相对熵计算中用到的概率

在上一步的基础上计算概率矩阵P，P中的每一个元素如下：

（3）计算每个指标的信息熵，并计算信息效用值，并归一化得到每个指标的熵权

对第j个指标而言，其信息熵的计算公式为：

ej越大，则第j个指标的信息熵越大，其对应的信息量越小

定义信息效用值dj，公式如下：

将信息效用值归一化，得到每个指标的熵权：