0. 引言
- 净重新分类指数
(net reclassification imporvement, NRI)
是运用较多的比较新旧模型预测效果的方法NRI
关注的是在诊断截点处,通过考察使用新模型 后个体预测概率的变化情况,或个体被重新分类的情况,得出新模型比旧模型使得不同组别个体更有 利于分到正确组的概率,并对两组预测概率的改善求和
关于NRI
更多的介绍可以参考两种比较模型预测效果的评价指标及其R实现
1. NRI
指数
1.1 理论
净重新分类指数NRI
评价的是在两模型采用最优诊断截点进行预测时,与旧模型相比,使用新模型使得个体的预测结果得到改善的概率,包括两个部分:
- 事件发生组:在R中以
NRI+
表示 - 事件不发生组:在R中以
NRI-
表示
以预测结局为患病和不患病的研究为例,当各自选定好了最佳阈值(最佳阈值选取方法)之后,我们可以得到一个混淆矩阵。
依据这个混淆矩阵,我们可以计算NRI指数:
#event1
和#nonevent0
分别表示患病组和不患病组中新模型预测正确而旧模型预测错误的人数(b1
和c2
),也即在新模型发生改善的人数。#event0
和#nonevent1
分别表示患病组和不患病组中新模型预测错误而旧模型预测正确的人数(c1
和b2
),也即在新模型发生恶化的人数。- 本质上,
NRI
指数等于新模型灵敏度与特异度之和减去旧模型灵敏度与特异度之和,在数值上也相当于新模型的约登指数减去旧模型的约登指数
1.2 R语言实现
方法一:使用PredictABEL包实现
# 安装包
# install.packages('PredictABEL')
library('PredictABEL')
reclassification(data=data, cOutcome = 7, predrisk1 = pred1, predrisk2 = pred2, cutoff = c(0, 0.5,1))
注解:
data
为数据集;cOutcome = 7
表示数据及中的第七列为标签列;cutoff
为模型阈值pred1
旧模型的预测值,pred2
为新模型的预测值,pred1
和pred2
都是连续变量,大小介于0和1之间。
方法二:使用nricens包实现
# install.packages('nricens')
library('nricens')
NRIb = nribin(event = labels, p.std = pred1, p.new = pred2, updown = 'category', cut=0.5)
注解:
event
为标签;cut
为模型阈值p.std
旧模型的预测值,p.new
为新模型的预测值,p.std
和p.new
都是连续变量,大小介于0和1之间。
2. 参考文献
- 李彤阳, 林卓琛, 葛琪, 陈雯和张晋昕. 2019. 《两种比较模型预测效果的评价指标及其R实现》. 肿瘤预防与治疗 32 (11): 1018–23.
- https://cloud.tencent.com/developer/article/1468008
- https://www.rdocumentation.org/packages/PredictABEL/versions/1.2-4/topics/reclassification
- https://www.rdocumentation.org/packages/nricens/versions/1.6/topics/nribin