综合判别改善指数 IDI

本文摘自：两个预测模型比较，再教你一招IDI

之前的博客中介绍了AUC（曲线下面积）和NRI（净重分类改善指数）两个指标来评估模型的Discrimination能力，实际上NRI还有个孪生兄弟——IDI（Integrated Discrimination Improvement，综合判别改善指数）。

IDI是由Pencina等人于2008年提出的，应该说算是一个非常新的判别指标了。由于它考虑了不同切点的情况，可以用来反映模型的整体改善状况，在一定程度上补齐了NRI的短板。同时，虽然AUC也考虑到了不同切点，但是AUC的改善情况在临床中不易解释，IDI也因此弥补了AUC的缺陷，可以形象地展示研究对象被准确重新判别的比例。

在进行2个疾病模型比较，或者2个指标诊断效能比较时，除了传统的ROC曲线及其AUC，也可以同时给出NRI和IDI，更加全面多层次的展示模型的改善情况。

IDI的计算其实也比较简单，它反映的是两个模型预测概率差距上的变化，因此是基于疾病模型对每个个体的预测概率计算所得。它的计算方法为：

IDI= (Pnew,events - Pold,events) - (Pnew,non-events - Pold,non-events)

其中Pnew,events、Pold,events表示在患者组中，新模型和旧模型对于每个个体预测疾病发生概率的平均值，两者相减表示预测概率提高的变化量，对于患者来说，预测患病的概率越高，模型越准确，因此差值越大则提示新模型越好。

而Pnew,non-events、Pold,non-events表示在非患者组中，新模型和旧模型对于每个个体预测疾病发生概率的平均值，两者相减表示预测概率减少的量，对于非患者来说，预测患病的概率越低，模型越准确，因此差值越小则提示新模型越好。

最后，将两部分相减即可得到IDI，总体来说IDI越大，则提示新模型预测能力越好。与NRI类似，若IDI＞0，则为正改善，说明新模型比旧模型的预测能力有所改善，若IDI＜0，则为负改善，新模型预测能力下降，若IDI=0，则认为新模型没有改善。

我们可以通过计算Z统计量，来判断IDI与0相比是否具有统计学显著性，统计量Z近似服从正态分布，公式如下：

其中SEevents为Pnew,events- Pold,events的标准误，首先在患者组，计算新、旧模型对每个个体的预测概率，求得概率的差值，再计算差值的标准误即可。

同理，SEnon-events为Pnew,non-events- Pold,non-events的标准误，是在非患者组，计算新、旧模型对每个个体的预测概率，求得概率的差值，再计算差值的标准误即可。

 

关于IDI，还可参考这篇博客：综合判别改善指数IDI的计算方法（含二分类和生存资料IDI计算的R代码）

关于IDI的计算工具包，如下所示：

包的名称	下载地址	分类资料结局	生存资料结局
PredictABEL	CRAN	reclassification函数	不支持
survIDINRI	CRAN	不支持	IDI.INF函数

 

总结

已经介绍了AUC、NRI和IDI这3个指标在判断和比较两个疾病风险模型预测能力中的应用，三者相辅相成，各有不同，最后我们再来总结几点需要注意的地方。

1. 相对于经典的AUC指标来说，NRI和IDI属于较为新颖的指标，还处于初步发展的阶段，虽然近年来受到越来越多研究者的关注，但是AUC的提高依然还是可以作为模型预测能力改善的第一判断标准。当然，如果能够同时给出NRI和IDI，则更是锦上添花，在理想的情况下，三者得到的结论应该是较为一致的。

2. NRI的计算与设定的切点密切相关，预测概率的等级划分应该选择适宜的界值。如果等级划分过宽，NRI计算值可能就会比较小，而达不到统计学显著性，如果等级划分过窄过细，则会得到更为精细的NRI，但是却失去了临床实践的指导意义。因此，预测概率切点的划分对于计算NRI来说显得十分重要，一定要结合临床专业的需求来确定。

3. 如果目前还无法确定明确的划分切点，那么IDI和AUC可能是较好的选择，如果比较关心切点处的改善情况，那么NRI可能是较好的选择。如果结局指标不是二分类变量，而是多分类情况，例如高、中、低风险，那么NRI和IDI可能是更好的选择，AUC则显得较为复杂。

4. 同时，我们还要考虑到临床的可行性和经济效益问题，例如，如果在不损失特异度的情况下，新增加一个预测指标，不会带来太多额外的经济负担，即使提高模型的预测能力并不是太显著，也可以考虑将新指标加入到预测模型中。相反，如果一个新指标难以获取，或者检测费用昂贵，即使模型的预测能力有所改善，可能也要保守选择传统的、成本较低的预测模型。

 

参考资料：两个预测模型比较，再教你一招IDI

参考文献：

Evaluating the added predictive ability of a new marker: From area under the ROC curve to reclassification and beyond