规则学习算法之毒蘑菇识别

分类算法有很多，比较常用且简单、易于理解和解释的决策树算上一个（有关决策树算法的应用可以参考本公众号9月19和20日的文章：基于R语言的数据挖掘之决策树）。在学习机器学习过程中，我又碰见一个规则分类算法，该算法跟决策树类似，也可以返回具体分类规则，而且结果往往比决策树更简洁、更容易理解，这里与大家共享。

两个重要的规则学习算法

一、单规则算法

1、算法思想

如果一个数据集含有N个变量，该算法会从中挑选出一个最为重要的变量最为规则变量。挑选的依据是：遍历所有的变量，计算各变量的规则错误率，错误率最低的变量作为最佳规则变量。为理解该算法的思想，这里举一个简单的例子。

一个女孩要嫁人，她会综合考虑男方的三个因素：年龄、收入和职业。具体如下表所示：

如果使用单规则算法来判别此女孩是否嫁人，可以参考下表：

通过遍历每个变量，发现以职业为判别规则的话，错误率最低，所以职业这个变量就是被挑选出来的最佳规则变量。

2、单规则算法优缺点

优点：

1）可以生成一个单一的、易于理解的、人类可读的经验法则

2）往往表现得出奇的好

3）可作为更复杂算法的一个基准

缺点：

只使用一个最佳规则变量，过于简单

3、R中的实现函数

单规则算法可以使用RWeka包中的OneR()函数加以实现，具体函数格式如下：

OneR(formula, data, subset, na.action,

control = Weka_control(), options = NULL)

formula模型以公式的形式表达，类似于y~x1+x2+x3；

data指定要分析的数据对象；

subset可以选取data数据集中的子集作为训练样本；

na.action缺失值的处理方法，默认将剔除缺失数据的观测；

control可为模型添加附加条件。

二、RIPPER算法

由于单规则算法只是依赖于一个变量作为判别依据，这似乎显得非常单薄，而且还存在两个致命的缺陷，即处理大数据时效率低下；对噪声数据的分类不准确。由此，科学家又发展了该单规则算法，提出重复增量修建算法，即RIPPER算法。该算法可以组合多个变量生成判别规则，而且还可以不断的自我修剪和优化。

1、RIPPER算法优缺点

优点：

1）生成易于理解且人类可读的规则

2）能很好的处理大数据集和噪声数据集

3）通常会产生比决策树更简单的规则

缺点：

处理数值型数据不太理想，所以规则算法一般要求数据集以名义变量为主或全是名义变量。

2、R中的实现函数

RIPPER算法仍然需要RWeka软件包，具体可以使用JRip()函数加以实现。该函数的具体语法如下：

JRip(formula, data, subset, na.action,

control = Weka_control(), options = NULL)

参数解释与OneR()函数一致，这里不再赘述。

三、应用--毒蘑菇识别

本文案例数据来源于http://archive.ics.uci.edu/ml/datasets/Mushroom，该数据包含21个离散的解释变量和1个二分类的因变量，总共有8124条记录。

1、单规则算法实现

#下载并加载RWeka软件包

if(!suppressWarnings(require('RWeka'))){

install.packages('RWeka')

require('RWeka')

}

#读取数据

mushrooms <- read.csv(file = file.choose(), header = TRUE,

sep = ',', stringsAsFactors = TRUE)

#查看数据结构

str(mushrooms)

#生成训练数据集和测试数据集

set.seed(1234)

index <- sample(x = 1:2, size = nrow(mushrooms), replace = TRUE, prob = c(0.7,0.3))

train <- mushrooms[index == 1,]

test <- mushrooms[index == 2,]

#构建单规则算法模型

model_oner <- OneR(formula = type ~., data = train)

#查看单规则算法模型的最佳规则变量

model_oner

发现变量odor（气味）是最佳规则变量。

#查看单规则模型返回的概览

summary(model_oner)

从上图结果看，训练集本身的正确判断率达到98.6%

#对测试集进行预测

pred_oner <- predict(object = model_oner, newdata = test[,-1])

#测试集上的混淆矩阵

Freq_oner <- table(pred_oner, test[,1])

Freq_oner

#预测精度

accuracy_oner <- sum(diag(Freq_oner))/sum(Freq_oner)

accuracy_oner

同样，模型在测试集上的准确率也超过了98%。

2、RIPPER算法实现

#构建RIPPER算法模型

model_ripper <- JRip(formula = type ~., data = train)

#查看RIPPER算法的返回规则

model_ripper

结果返回共产生8条规则。

#查看RIPPER模型返回的概览

summary(model_ripper)

模型在训练集中的准确率几乎为100%，比单规则算法更准确

#对测试集进行预测

pred_ripper <- predict(object = model_ripper, newdata = test[,-1])

#测试集上的混淆矩阵

Freq_ripper <- table(pred_ripper, test[,1])

Freq_ripper

#预测精度

accuracy_ripper <- sum(diag(Freq_ripper))/sum(Freq_ripper)

accuracy_ripper

模型同样在测试数据集中也表现的非常好，准确率几乎100%。

数据集和脚本下载

文中的脚本和数据集可以到下方链接下载：

http://yunpan.cn/c3eHMekBhJL2u 访问密码 296f

总结：文章涉及到的R包和函数

read.csv()

sample()

RWeka包

OneR()

JRip()

predict()

参考文献

机器学习与R语言