数学建模-基于熵权法的TOPSIS法修正

这里是根据清风数学建模视频课程整理的笔记，我不是清风本人。想系统学习数学建模的可以移步B站搜索相关视频

TOPSIS方法此前以及写过博文，因此这里主要讲熵权法确定权重

熵权法原理

指标的变异程度越小（即方差越小），所反映的信息量也越少，其对应的权值也应该越低。

例如：对于所有的样本而言，这个指标都是相同的数值， 那么我们可认为这个指标的权值为0，即这个指标对于我们的评价起不 到任何帮助

如何度量信息量的大小

越有可能发生的事情，信息量越少；越不可能发生的事情，信息量就越多。

⇓（如何衡量事情发生的可能性？）

概率

信息熵的定义

假设$x$表示事件$X$可能发生的某种情况$p(x)$表示这种情况发生的概率

我们定义：$I(x)=-\ln (p(x))$

如果事件$X$可能发生的情况分别为：$x_1,x_2,\dots ,x_n$

那么定义事件$X$的信息熵为：$H(X)={\sum }_{i=1}^n[p(x_i)I(x_i)]=-{\sum }_{i=1}^n[p(x_i)\ln (p(x_i))]$

信息熵的本质就是对信息量的期望值

可以证明，当$p(x_1)=p(x_2)=\dots =p(x_n)=\frac{1}{n}$时，$H(x)$取最大值$\ln n$

熵权法计算步骤

第一步，判断输入矩阵中是否存在负数，如果有负数则要重新标准化到非负区间

第二步，计算第$j$项指标下第$i$​个样本所占的比重，并将其看作相对熵计算中用到的概率

第三步，计算每个指标的信息熵，并计算信息效用值，并归一化得到每个指标的熵权

对于第$j$个指标而言，其信息熵的计算公式为

$e_j=-\frac{1}{\ln n}{\sum }_{i=1}^n{p}_{ij}\ln (p_{i}j),(j=1,2,\dots ,m)$

1、为什么要除以$\ln n$​？

因为当$p(x_1)=p(x_2)=\dots =p(x_n)=\frac{1}{n}$时，$H(x)$取最大值$\ln n$，那么这里除以$\ln n$能够让信息熵始终位于$[0,1]$​区间上

2、$e_j$越大，即第$j$个指标的信息熵越大，表明第$j$个指标的信息越多还是越少？

越少。

当$p_{1j}=p_{2j}=\dots =p_{nj}$时，$e_j=1$，信息熵最大，但由于$p_{ij}=\frac{{\tilde{z}}_{ij}}{{\sum }_{i=1}^n{\tilde{z}}_{ij}}$，所以${\tilde{z}}_{1j}={\tilde{z}}_{2j}=\dots ={\tilde{z}}_{nj}$​，说明所有样本的这个指标值都相同​

由于信息熵越大，所包含的信息量越小，因此我们定义信息效用值$d_j=1-e_j$，则信息效用值越大，所包含的信息量越大

最后将信息效用值进行归一化，则得到每个指标的熵权

$W_j=\frac{d_j}{{\sum }_{j=1}^m{d}_j},(j=1,2,\dots ,m)$​