statistic在c语言中的作用,模型评价除了C-statistic，还能用什么指标？

原标题：模型评价除了C-statistic，还能用什么指标？

前言

近日有朋友在《统计咨询》公众号咨询：评价预测模型时，除了C-statistic，还能用什么指标？小编的第一反应是可用的指标或方法其实不少，包括正确率、AUC、Hosmer-Lemeshow检验、ROC曲线、校准曲线等等，为何还在愁？原来是这位朋友看到文献里提到一个她比较少见的指标，为O/E ratio。小编思绪良久，查阅相关文献，简介如下。

O/E ratio 简介

O代表observed，E代表expected，O/E ratio表示实际观测事件数与期望事件数之比。不易理解，O/E ratio适用于结局变量为二分类的预测模型。查阅疾病预测相关的文献容易发现，O/E ratio这个指标被越来越多的应用，下面是从BMC Cancer期刊文献中摘抄的句子：

① 方法部分: "We used E/O ratios (which are defined as the observed divided by the expected number, with a number close to 1 showing good model fit) to assess model calibration."

② 结果部分: " The E/O ratio and 95% CI was 1.03 (0.74, 1.49)."

值得注意的是 E/O ratio 与 O/E ratio的含义是同理的，不过 O/E ratio更加常用，也有写作 O:E ratio 。那么 O/E ratio 有什么特点或者优势呢？下面是从BMJ期刊文献中摘抄的句子：

① O/E ratio 与校准高度相关: "The total O:E ratio is strongly related to the calibration in the large, but that is rarely reported."

② O/E ratio是对整个模型校准的评价指标: "The total O:E ratio provides a rough indication of the overall model calibration (across the entire range of predicted risks)."

③ O/E ratio 也适用于亚组分析: "The O:E ratio might also be available in subgroups, for example, defined by tenths of predicted risk or by particular groups of interest (eg, ethnic groups, or regions)."

O/E ratio 那么常用，又那么多特点，究竟是如何判断模型好坏的？上面的BMJ期刊文献中提到，O/E ratio 在0.8-1.2范围内，可以认为预测模型具有较好的校准 (calibration)。

O/E ratio 实例

基于R包metamisc可以简单地实现 O/E ratio 及其95%CI的计算，假设一项研究纳入5553例受试对象，实际观测到232例发生结局，而通过建立的统计学预测模型预测有222例发生结局，拟计算 O/E ratio ，代码如下。

#加载所需R包

library(metamisc)

#利用oecalc函数计算 O/E ratio

rst

#查看结果

rst

下图结果中，theta 即 O/E ratio ，cilb 和 ciub 分别对应95%CI的上下限，结果显示该预测模型的 O/E ratio 为 1.045(0.913, 1.177) ，按照0.8-1.2的标准可以认为预测模型具有较好的校准。

Debray et al. A guide to systematic review and meta-analysis of prediction model performance. BMJ 2017; 356: i6460

Wang et al. Risk prediction for breast Cancer in Han Chinese women based on a cause-specific Hazard model. BMC Cancer. 2019; 19: 128

责任编辑：