Double Input Symmetrical Relevance (DISR)

WhoIsBalance

已于 2024-07-23 09:24:11 修改

阅读量616

点赞数 8

文章标签：机器学习人工智能

于 2024-07-22 14:59:54 首次发布

本文链接：https://blog.csdn.net/weixin_45499327/article/details/140607706

版权

DISR用途

DISR可用于特征筛选，该方法可以将 Variable Complementarity 纳入考虑，即考虑了多个变量联合作用与因变量的相关性，而不是仅仅考虑到单个变量与因变量的相关性。

例子1

假设有4个变量，因变量 $Y$ ，自变量 $X_i$ $X_s$ $X_M$ ，其中 $Y=X_i+X_s$ ，而 $X_M=X_i/2$ 。因此 $X_i$ 和 $X_s$ 的和 $Y$ 相关，而 $X_M$ 和 $X_i$ 高度相关。（ $X_i$ 和 $X_s$ 就是 Variable Complementarity）

信息冗余会降低计算得到的条件互信息

$I(X_i;Y|X_M)=H(Y|X_M)-H(Y|X_i,X_M)=0$

但实际上 $X_i$ 并不一定和 $Y$ 不相关，这是由于 $X_M$ 和 $X_i$ 高度相关造成的。

通过添加条件，可以提高 $X_i$ 和 $Y$ 的条件互信息

$I(X_i;Y|X_s)=H(Y|X_s,X_i)-H(Y|X_s,X_i)=H(Y|X_s)$

所以条件互信息受到两个变量是互补（Complementarity）还是冗余的影响，那么有没有更直观的方法去判断两个变量的互补关系呢？

两个自变量关于因变量的互补性定义为：

$C_Y(X_i,X_j)=I(X_{ij};Y)-I(X_i;Y)-I(X_j;Y)$

当 $C_Y(X_i,X_j) > 0$ ， $X_i$ 和 $X_j$ 关于 $Y$ 互补；当 $C_Y(X_i,X_j) < 0$ ， $X_i$ 和 $X_j$ 关于 $Y$ 相互冗余。

例子2

计算XOR运算种两个变量的互补性

X1	1	1	0
X2	1	0	1
Y	0	1	1

计算得到

$C_Y(X_1,X_2)=log2-2log1>0$

因此 $X_1$ 和 $X_2$ 关于 $Y$ 互补。