原标题:模型评价除了C-statistic,还能用什么指标?
前言
近日有朋友在《统计咨询》公众号咨询:评价预测模型时,除了C-statistic,还能用什么指标?小编的第一反应是可用的指标或方法其实不少,包括正确率、AUC、Hosmer-Lemeshow检验、ROC曲线、校准曲线等等,为何还在愁?原来是这位朋友看到文献里提到一个她比较少见的指标,为O/E ratio。小编思绪良久,查阅相关文献,简介如下。
O/E ratio 简介
O代表observed,E代表expected,O/E ratio表示实际观测事件数与期望事件数之比。不易理解,O/E ratio适用于结局变量为二分类的预测模型。查阅疾病预测相关的文献容易发现,O/E ratio这个指标被越来越多的应用,下面是从BMC Cancer期刊文献中摘抄的句子:
① 方法部分: "We used E/O ratios (which are defined as the observed divided by the expected number, with a number close to 1 showing good model fit) to assess model calibration."
② 结果部分: " The E/O ratio and 95% CI was 1.03 (0.74, 1.49)."
值得注意的是 E/O ratio 与 O/E ratio的含义是同理的,不过 O/E ratio更加常用,也有写作 O:E ratio 。那么 O/E ratio 有什么特点或者优势呢?下面是从BMJ期刊文献中摘抄的句子:
① O/E ratio 与校准高度相关: "The total O:E ratio is strongly related to the calibration in the large, but that is rarely reported."
② O/E ratio是对整个模型校准的评价指标: "The total O:E ratio provides a rough indication of the overall model calibration (across the entire range of predicted risks)."
③ O/E ratio 也适用于亚组分析: "The O:E ratio might also be available in subgroups, for example, defined by tenths of predicted risk or by particular groups of interest (eg, ethnic groups, or regions)."
O/E ratio 那么常用,又那么多特点,究竟是如何判断模型好坏的?上面的BMJ期刊文献中提到,O/E ratio 在0.8-1.2范围内,可以认为预测模型具有较好的校准 (calibration)。
O/E ratio 实例
基于R包metamisc可以简单地实现 O/E ratio 及其95%CI的计算,假设一项研究纳入5553例受试对象,实际观测到232例发生结局,而通过建立的统计学预测模型预测有222例发生结局,拟计算 O/E ratio ,代码如下。
#加载所需R包
library(metamisc)
#利用oecalc函数计算 O/E ratio
rst
#查看结果
rst
下图结果中,theta 即 O/E ratio ,cilb 和 ciub 分别对应95%CI的上下限,结果显示该预测模型的 O/E ratio 为 1.045(0.913, 1.177) ,按照0.8-1.2的标准可以认为预测模型具有较好的校准。
Debray et al. A guide to systematic review and meta-analysis of prediction model performance. BMJ 2017; 356: i6460
Wang et al. Risk prediction for breast Cancer in Han Chinese women based on a cause-specific Hazard model. BMC Cancer. 2019; 19: 128
责任编辑: