Relief 被认为是一种评估特征质量的非常成功的算法。
Relief的伪代码:
- Initialization:given ,set ,
- for t=1:T
- Randomly select a pattern x from D;
- Find the nearest hit NH(x) and the miss NM(x) of x ;
- for i=1:
- Compute:
- end
- end
ReliefF 是Relief 的用于处理多类情况的改进算法如下
- Initialization:given ,set ,
- for t=1:T
- Randomly select a pattern x from D;
- Find the nearest hit NH(x) and the miss NM(x) of x ;
- for i=1:
- Compute:
- end
-
end
其中是NH 的大小,
是的大小
是在类中的nearest miss 集合
为类的先验概率
可以看出relief 是一种类似启发式的搜索,但是对relief的进一步研究比如,I-RELIEF 从数学上解释了relief 为什么具有特征选择的功能