特征提取的一种方法—对称不确定性

对称不确定性 (Symmetrical Uncertainty, SU)，是用于衡量两个变量之间关联度的一个常用指标。它在特征选择算法中很常见，用来确定哪些变量包含有意义的信息。其公式如下：

其中：

• I(X,Y)I(X, Y)I(X,Y)：互信息，表示两个随机变量 XXX 和 YYY 之间的信息共享程度。
• H(X)和 H(Y)：分别是 X和 Y的信息熵，表示每个变量的不确定性。

他们的计算公式如下：

对于S(X,Y)有如下信息：

   对称不确定性是基于互信息的一个归一化指标，确保其取值范围在 [0,1][0, 1][0,1] 之间。

• 如果 S(X,Y)=0S(X, Y) = 0S(X,Y)=0，则说明 X 和 Y完全不相关。
• 如果 S(X,Y)=1S(X, Y) = 1S(X,Y)=1，则表示 X 和 Y 完全依赖。