分类模型效果评价

通常使用的分类模型包括Rpart决策树、Ctree决策树、Random Forest随机森林、Logistics回归等。

这些模型通常利用准确率、精确率、召回率、F值和ROC面积等指标进行评估，针对二分类问题，将实例分成正类（positive）和负类（negative）两类。

实际业务中会出四种情况：

真正类（True Positive，TP）：被模型预测为正类的正样本；

假正类（False Positive，FP）：被模型预测为正类的负样本；

假负类（False Negative，FN）：被模型预测为负类的负样本；

真负类（True Negative,TN）： 被模型预测为负类的负样本；

1.准确率（Accuracy）反映的是正确预测样本所属类型的概率。

准确率=（TP+TN）/TP+FP +FN+TN

2.精确率（Precision）反映的是预测为正的样本中正类的概率。

精确率=TP/(TP+FP )

3.召回率（Recall）反映的是正例样本预测为正的概率。

召回率=TP/(TP+FN)

4.F值，综合考虑精确率和召回率，为二者的加权调和平均值。

F=（2*精确率*召回率）/(精确率+召回率）

5.ROC面积，反映的是分类器正确分类的统计概率，其值越接近1说明该算法效果越好。

不同的模型的准确率、召回率和ROC面积不同，在实际运用中，可根据实际情况确定使用单一模型，或使用组合模型分类效果。