15.3 剪枝优化

15.3 剪枝优化

• 规则生成本质上是一个贪心搜索的过程，需要一定的机制缓解过拟合的风险，最常见的做法是剪枝（pruning）。与决策树相似，剪纸可以发生在规则生长过程中，即预剪枝。也可以发生在规则产生后，即后剪枝。通常是基于某种性能度量指标来评估增/删逻辑文字前后的规则性能，或增/删规则前后的规则集性能，从而判断是否要进行剪枝。

• 剪枝还可以借助统计显著性检验来进行，例如CN2算法在预剪枝的过程时，假设用规则集来进行预测必须显著优于直接基于训练样例集后验概率分布进行预测，为了便于计算。CN2使用了似然率统计量（LRS）。令m+，m-分别表示训练样例集中的正，反例数目，m^+,m-分别表示规则（集合——覆盖的正反例数目，则有

• 这实际上是一种信息量指标，衡量了规则集覆盖样例的分布和训练集经验分布的差别：LRS越大，说明采用规则集进行预测和直接使用训练集正，反例比率进行猜测的差别越大。LRS越小，说明规则集的效果越可能是偶然现象，在数据量比较大的现实任务中，通常设置为LRS很大（例如0.99）时，CN2算法才停止规则集生长

• 规则学习中常称为生长集，和剪枝条。

• 后剪枝最常用的策略是减错剪枝（REP），其基本的做法是：将样例集合划分为训练集和验证集，从训练集上学得规则R后进行多轮剪枝，在每一轮穷举所有可能的剪枝操作，包括删除规则中的某个文字，删除规则中结尾文字，删除规则尾部多个文字，删除整条规则等。然后用验证集对剪枝产生的所有候选规则集进行评估，保留最好的那个规则集进行下一轮的剪枝，如此继续，直到无法通过剪枝提高验证集上的性能为止。

• REP剪枝通常很有效果，但是他的复杂度是 O（m^4),m为驯良样本的数量。IREP，负责都是m （log m）^2，其做法是：在生成每条规则前，先将当前样例集划分为训练集和验证集，在训练集上生成一条规则R，立即在验证集上对其进行REP剪枝，得到规则 R’，将R‘覆盖的样例去掉，在更新后的样例集合上重复上述的操作。显然，REP是针对规则集进行剪枝，而IREP仅仅对于单挑规则进行剪枝，因此后者比前者更加高效

• 若将剪枝机制和其他一些后处理手段结合起来对规则集进行优化，则往往可以获得很好的效果，以著名的规则学习算法RIPPER为例，其泛化性能超过很多决策树算法，而且学习速度也比大多数决策树算法更快，奥妙就在于将剪枝和后处理优化相结合

• RIPPER算法描述如下，它先使用了IREP剪枝机制生成了规则集R，IREP是IREP的改进，主要是以m+和m- 取代了IREP使用的准确率作为规则性能度量指标，在剪枝的时候删除规则尾部的多个文字，并且在最终得到规则集之后再进行一次IREP剪枝。RIPPER中的后处理机制是为了在剪枝的基础上进一步提升性能，对R中的每条规则Ri，RIPPER为它产生两个变体：

• R’：基于Ri的覆盖的样例，用IREP*重新生成一条规则R‘，该规则称为替换规则

• R’’：对Ri增加文字进行特化，然后再用IREP*剪枝生成一条规则Ri’’，该规则称为修订规则

• 接下来，将R‘i和R’‘i分别与R中除Ri之外的规则放在一起，组成了规则集R’和R’’，然后将他们和R一起进行比较，选择最优的规则集保留下来，这就是第四行算法所作的操作

• 为什么RIPPER的优化策略有效呢？原因很简单：最初生成R的时候，规则是按序生成的、每条规则都没有对其后产生的规则加以考虑，这样的贪心算法本质常常导致算法陷入局部最优。RIPPER的后处理优化过程将R中的所有规则放在一起重新加以优化，恰恰是通过全局的考虑来缓解贪心算法的局部性，从而往往能够得到更好的效果。