代价敏感的学习方法

代价敏感的学习方法是机器学习领域中的一种新方法，它主要考虑在分类中，当不同的分类错误会导致不同的惩罚力度时如何训练分类器。例如在医疗中，“将病人误诊为健康人的代价”与“将健康人误诊为病人的代价”不同；在金融信用卡盗用检测中，“将盗用误认为正常使用的代价”与将“正常使用误认为盗用的代价”也不同。通常，不同的代价被表示成为一个N×N的矩阵Cost中，其中N 是类别的个数。Cost[i, j]表示将一个i 类的对象错分到j 类中的代价。
按照对问题的解决方法的不同，对代价敏感学习的算法研究可以分成三类。
第一类代价敏感的学习方法关注于如何直接构造一个代价敏感的学习模型，对不同的分类器模型研究者们提出了不同的解决办法，它们包括
(1)决策树：Knoll 等和Bradford 等为决策树提出了代价敏感的剪枝方
法，Bradford 等研究了在代价敏感的条件下如何对决策树进行剪枝使得
损失达到最小，研究表明基于拉普拉斯方法的剪枝方法能够取得最好的
效果，Drummond 和Holte 研究了代价敏感学习的决策树的节点分裂
方法。
(2) Boosting：Fan 等研究着提出了代价敏感的Boosting 算法Ada-Cost
(3)神经网络：Geibel 和Wysotzki 提出了基于Perceptron 分类算法的代价敏感的学习方法，在文章中作者对不可分的类提出了代价敏感的参数更新规则。例如Kukar 和Kononenko 为神经网络提出了新的后向传播算
法，使之能够满足代价敏感学习的要求。
(4) Fumera 和Roli[37]以及Bradford 等从结构风险最小的角度来看代价敏感问题，提出了代价敏感的支持向量机分类算法。
第二类代价敏感的学习方法基于对分类结果的后处理，即按照传统的学习方法学习一个分类模型，然后对其分类结果按照贝叶斯