最详细的基于R语言的Logistic Regression（Logistic回归）源码，包括拟合优度，Recall，Precision的计算

这篇日志也确实是有感而发，我对R不熟悉，但实验需要，所以简单学了一下。发现无论是网上无数的教程，还是书本上的示例，在讲Logistic Regression的时候就是给一个简单的函数及输出结果说明。从来都没有讲清楚几件事情：

1. 怎样用训练数据训练模型，然后在测试数据上进行验证（测试数据和训练数据可能有重合）？

2. 怎样计算预测的效果，也就是计算Recall，Precision，F-measure等值？

3. 怎样计算Nagelkerke拟合优度等评价指标？

2014年9月8日补充：还有一个问题忘记说了，怎么样确定Logistic Regression的阈值，对于下面这段代码来讲，很简单：调整0.5为其他值即可。

发现这些书本和一些写博客的朋友，脑子真是不清楚得可以。去看你的教程，不是光看看简单的函数使用，或者听你讲讲原理，还是希望能尽快并且正确地用起来。从我的经历来看，已有的网上教程都做得太差了。

这里我也不详细介绍过程了，贴上有详细注释的代码，相信大家一看就明白：

rm(list=ls(all=TRUE))#首先删除工作空间中所有对象
training=read.csv("training.csv",header=FALSE)
testing=read.csv("testing.csv",header=FALSE)#分别导入训练和测试数据
 
glm.fit=glm(V16~V7,data=training,family=binomial(link="logit"))#用训练数据生成模型，这里我是用第7列数据预测第16列
 
n=nrow(training)#训练数据的行数，也就是样本数量
 
R2<-1-exp((glm.fit$deviance-glm.fit$null.deviance)/n)#计算Cox-Snell拟合优度
cat("Cox-Snell R2=",R2,"\n")
 
R2<-R2/(1-exp((-glm.fit$null.deviance)/n))#计算Nagelkerke拟合优度，我们在最后输出这个拟合优度值
 
p=predict(glm.fit,testing)#用模型对测试数据进行预测
p=exp(p)/(1+exp(p))#计算因变量的值
 
testing$V16_predicted=1*(p>0.5)#给test数据增加一列，也就是对V16的预测，当p>0.5时，预测值为1

true_value=testing[,16]
predict_value=testing[,17]#分别将16和17列取出来
 
retrieved=sum(predict_value)
precision=sum(true_value & predict_value)/retrieved
recall=sum(predict_value & true_value)/sum(true_value)
F_measure=2*precision*recall/(precision+recall)#计算Recall，Precision和F-measure

#补充一点：对TPR（True Positive Rate）和FPR（False Positive Rate）的计算：
TPR=sum(true_value & predict_value)/sum(true_value)#实际上和Recall相等
FPR=(sum(predict_value)-sum(true_value & predict_value))/(length(true_value)-sum(true_value))
 
summary(glm.fit)
cat("Nagelkerke R2=",R2,"\n")
print(precision)
print(recall)
print(F_measure)

搞不清楚这么简单的东西，为什么很多人都说不清楚。

这里再简单解释一下summary输出结果：

Call:
glm(formula = V16 ~ V7, family = binomial(link = "logit"), data = training)
 
Deviance Residuals:
    Min       1Q   Median       3Q      Max
-2.5212  -0.9990  -0.4249   1.1352   1.4978  
 
Coefficients:
             Estimate Std. Error z value Pr(>|z|)
(Intercept) -0.744804   0.207488  -3.590 0.000331 ***
V7           0.005757   0.001362   4.226 2.38e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
 
(Dispersion parameter for binomial family taken to be 1)
 
    Null deviance: 307.76  on 221  degrees of freedom
Residual deviance: 277.85  on 220  degrees of freedom
AIC: 281.85
 
Number of Fisher Scoring iterations: 5

其实大家主要看Coefficient这里就可以了，其中Estimate表示最终预测方程里V7的系数，Pr就是p-value，从这两处看预测效果还可以接受。