清风数学建模笔记--熵权法

是一种可以客观赋权的方法（我们可以从数据中查看权重）

依据的原理：指标的变异程度越小，所反映的信息量也越少，其对应的权值也应该越低。

本文借鉴了数学建模清风老师的课件与视频，如果大家发现文章中有不正确的地方，欢迎大家在评论区留言，也可以点击本行文字，购买清风老师的课进行深入学习.

1. 方法介绍

熵权法就是根据一项指标的变化程度来分配权重的，举个例子：浩浩和玉宇是两名百米运动员，浩浩在训练中成绩经常破10，而玉宇的成绩没有破过10.在一次比赛中中，浩浩依旧发挥稳定，还是破10了，而玉宇的成绩也破10。那就很不一样了，玉宇这里包含的信息就非常大，所对应的权重也就高一些。

  上面的小例子告诉我们：越有可能发生的事情，信息量越少。越不可能发生的事情，信息量就越多。其中我们认为概率就是衡量事情发生的可能性大小的指标。

  那么把 信息量 用字母 Ⅰ表示，概率 用 P 表示，那么我们可以将它们建立一个函数关系：

那么，假设 x 表示事件 X 可能发生的某种情况，p(x)表示这种情况发生的概率情况如上图所示，该图像可以用对数函数进行拟合，那么最终我们可以定义：Ⅰ( x ) = −ln⁡(p(x))因为 0≤p( x )≤10 ，所以 Ⅰ( x )≥ 0 。

信息熵的定义

  假设 x 表示事件 X 可能发生的某种情况，p(x) 表示这种情况发生的概率我们可以定义:Ⅰ( x ) =−ln ⁡ ( p( x ) )，因为0 ≤ p(x) ≤ 1 ，所以Ⅰ( x )≥0。 如果事件 X 可能发生的情况分别为: x1, x2 , ⋯   , xn，那么我们可以定义事件 X 的信息熵为：

那么从上面的公式可以看出，信息上的本质就是对信息量的期望值。

可以证明的是：p ( x1 ) = p ( x2 )= ⋯ =p ( x n ) = 1 / n 时，H(x) 取最大值，此时H(x)=ln ⁡(n) 。(n表示事件发生情况的总数)

2. 熵权法的计算步骤

熵权法的计算步骤大致分为以下三步：

• 判断输入的矩阵中是否存在负数，如果有则要重新标准化到非负区间（后面计算概率时需要保证每一个元素为非负数）。

• 计算第 j 项指标下第 i 个样本所占的比重，并将其看作相对熵计算中用到的概率。

• 计算每个指标的信息熵，并计算信息效用值，并归一化得到每个指标的熵权。

• 判断输入的矩阵中是否存在负数，如果有则要重新标准化到非负区间（后面计算概率时需要保证每一个元素为非负数）。

• 计算第 j 项指标下第 i 个样本所占的比重，并将其看作相对熵计算中用到的概率。

• 计算每个指标的信息熵，并计算信息效用值，并归一化得到每个指标的熵权。

这里要说明两个问题：

1. 为什么这里要除以 ln(n) 这个常数?

在前面说过 p (x1 ) = p ( x2 ) = . . . = p ( xn ) = 1 / n 时，H(x) 取最大值为ln(n)，这里除以ln(n) 能够使得信息嫡的始终位于 [0,1] 区间上面。

2. ej 越大，即第 j 个指标的信息嫡越大，表明第 j 个指标的信息越多还是越少?

答案是越少。当 p1j = p2j = ⋯ = pnj ，取到最大值 1 。但是因为 ,所以 ，即所有样本的这个指标值都相同。 指标相同意味着这个指标的数据没有变化，也就是 信息少！ 因此需要将其倒转，即计算信息效用值。

信息效用值的定义:

那么信息效用值越大，其对应的信息就越多。

将信息效用值进行归一化，我们就能够得到每个指标的 熵权 :

,(j=1,2,3,……，n)

3. 模型扩展 （）

• 熵权法可对 TOPSIS 法进行修正。

• 熵权法背后的原理是利用指标的变异程度进行赋权，存在一定程度的客观性，可利用主观赋权法求得的权重向量进行综合。

• 客观赋权法存在很多，求得客观权重的方法也有很多，其中灰色关联分析法得到的关联程度也可当作权重进行应用。

• 不同的标准化方法，可能得到的标准化矩阵Z存在差异，因此根据实际情况来使用标准化方法，注意前提都是得到的Z矩阵中没有负数。

4. 模型总结

总结一下步骤：

• 判断输入的矩阵中 是否存在负数，如果有则要重新标准化到非负区间（后面计算概率时需要保证每一个元素为非负数）。

• 计算第 j 项指标下第 i 个样本所占的比重，并将其看作相对熵计算中用到的 概率。

• 计算每个指标的信息熵，并计算信息效用值，并归一化得到每个指标的熵权。