matlab互信息特征选择,基于条件互信息的特征选择方法与流程

本发明属于机器学习、数据挖掘技术领域，具体讲,涉及基于条件互信息的特征选择方法。

背景技术：

作为维数约简的一种重要方式，特征选择是利用不同的度量标准对特征进行度量，从原始特征中选取效果较显著的特征子集作为最终特征。依据不同的度量标准，特征选择算法包括基于信息度量的算法、基于一致性度量的算法和基于距离度量的算法等。

基于条件互信息的算法是基于信息度量算法中的一类典型算法，该类算法能够取得较好的特征选择效果。针对基于条件互信息的算法，人们主要从以下两个方面展开研究：一种是先构造出含两种最值形式的目标函数，然后基于该目标函数，提出基于条件互信息的特征选择算法；另一种是先构造出仅含最大值形式的目标函数，然后基于所提的目标函数，提出基于条件互信息的特征选择算法。与第一种情况相比，由于其目标函数形式固定，第二种情况提出的算法具有一定的优势。本发明对第二种情况的特征选择进行研究，提出一种基于条件互信息的特征选择算法。

技术实现要素：

为克服现有技术的不足，本发明旨在提出新的特征选择方法。为此，本发明采用的技术方案是，基于条件互信息的特征选择方法，步骤如下：

1)X为一离散随机变量，p(x)为该变量的概率密度函数，信息熵被用来表述所获信息量的大小，信息熵H(X)表示为：

互信息常被用来量化两变量所包含的共同信息，X和Y的互信息I(X；Y)表示为：

I(X；Y)＝I(Y；X) (3)

其中，p(x)、p(y)分别为变量X、Y的概率密度函数，p(x,y)为变量X和Y的联合概率密度函数&#x