R语言-评分卡模型验证（ROC,KS，AIC,BIC)

本文主要记录几种常用的模型检验方法，重点在R语言的使用上，暂时不包括检验方法的原理。博主刚开始使用R语言不久，因此也借此机会整理记录自己的学习过程。如有不当，欢迎指正。

1. ROC与AUC，基尼系数

混淆矩阵Confusion Matirx

计算ROC之前先介绍如何计算混淆矩阵Confusion Matrix

1.可以用table（pre, test$label）

2.caret包里的confusionMatrix(data, reference)

ROC 和AUC

用pROC包的roc函数

# validate
library(pROC)  # roc
modelroc <- roc(test$label,pre)
modelauc<- auc(modelroc) # calculate area under the curve
plot(modelroc, print.auc=TRUE, auc.polygon=TRUE, grid=c(0.1, 0.2),
     grid.col=c("green", "red"), max.auc.polygon=TRUE,
     auc.polygon.col="skyblue", print.thres=TRUE) # draw roc
Gini <- 2*modelauc-1
     

基尼系数Gini Index

基尼系数最开始为经济学指标，判断一个群体收入分配的均匀程度，基尼系数越大，说明收入分配越不均匀。国际上通常把0.4作为警戒线，