五 分类：其他技术1

5.1 基于规则的分类器

概念：规则前件；规则后件；覆盖率；准确率

5.1.1 基于规则的分类器的工作原理

互斥规则：每条记录至多被R中的一条规则覆盖
穷举规则：每条记录都至少被R中的一条规则覆盖
有序规则：规则集中的规则按照优先等级排序，有序的规则集被称为决策表
无序规则：把记录指派到得票最多的类

5.1.2 规则的排序方案

基于规则的排序方案：依据规则质量的某种度量对规则排序，确保每个记录都由覆盖他的最好的规则来分类。
基于类的排序方案：属于同一类的规则在规则集中一起出现。

5.1.3 如何建立基于规则的分类器

建立基于规则的分类器，关键是提取一组规则来识别属性和类标号之间的关键联系。提取分类规则的方法两大类：直接法和间接法

5.1.4 规则提取的直接方法

顺序覆盖算法：规则基于某种评估度量以贪心的方式增长


1.Learn-One-Rule函数
Learn-One-Rule函数的目标是提取一个分类规则，该规则覆盖训练集中的大量正例，没有或仅覆盖少量反例。由于搜索空间呈指数大小，寻找计算开销很大，.Learn-One-Rule函数通过一种贪心的方式的增长规则解决问题。产生初始规则，不断对该规则求精，直到满足某种终止条件。
规则增长策略：从一般到特殊和从特殊到一般。

规则评估：规则增长过程中，需要一种评估度量来确定应该添加或删除哪个合取项。准确率or覆盖率

（1）使用统计检验剪除覆盖率较低的规则，计算似然比统计量

（2）考虑规则覆盖率的评估度量

（3）考虑规则的支持度计数的评估度量
FOIL信息增益：