医学大数据|基础|医学大数据分析结果验证方法：C-index和AUC值

摘抄自文献《基于临床数据的食管癌动态生存预测模型的构建与应用》

一致性指数(concordanceindex，C-index)，最早是在1996年由范德堡大学(Vanderbilt University)生物统计教教授 FrankEHarrellJr提出，主要用于计算生存分析中的COX回归模型的预测值与真实事件之间的区分度(discrimination)，在评价肿瘤患者预后模型的预测精度中应用非常广泛。模型的预测精度，顾名思义就是模型的真实值与预测值之间差别大小，均方误差相对误差等。在临床应用上，建模的主要目的是用于预测，因为十分注重预测结果的精度，而C-index就是一个评价预测模型预测精度的指标。通俗来讲C-index 的计算方法是把建模的数据库中的所有研究对象随机两两分组，以生存分析为例，如果两个患者中真实生存时间较长的那位，他的预测的生存时间也长于另一位,或者他的预测的生存率更高,则称之为该组数据的预测结果与实际结果相符，即“一致”。一个预测模型的一致性指数是预测结果和实际结果“一致”的配对数在总配对数中的比例。一致性指数的范围分布在0.5-1之间。C-index=0.5表示预测结果与实际结果完全不一致,说明该模型没有预测作用,C-index=1则认为该模型的预测结果与实际结果完全一致。而在由真实临床数据构建的预测模型中，几乎不存在预测结果与实际结果完全一致的预测模型。所以普遍认为，C-index 在 0.50-0.70的预测模型具有较低准确度，C-index 在 0.71-0.90之间的预测模型具有中等准确度;而高于0.90的预测模型则具有高准确度。交叉验证(Cross valition)是一种用来验证预测模型的性能一种统计分析方法，其基本思想是将原始数据(dataset)进行内部分组或者外部分组，一部分用作训练集(trainset)，把另一部分做为验证集(validation setortestset)，首先用训练集对分类模型进行建模，再利用验证集来测试构建所得的模型，并求这小部分验证集的预报误差，记录它们的平方加和，不断重复该过程，直至所有的样本都被验证了一次而且仅被验证一次。把每个样本的预报误差平方加和，称为PRESS(predictedError Sum ofSquares)。以此来做为评价分类模型的性能指标，结果越接近于1，则模型性能越好。

AUC,全称为 Area under the curve ofROC，顾名思义 AUC是ROC 曲线下方的面积，其是一种常用的对度量分类模型的好坏进行评价的标准。ROC曲线的全名叫做 Receiver Operating Characteristic,该分析方法是在医疗分析领域中引入的一种新的分类模型性能评价方法。其主要分析工具是一个画在二维平面上的曲线--ROC curve。ROC curve 的横坐标是负正类率(False positiverate，FPR)纵坐标是真正类率(Truepositiverate，TPR)。对某个分类模型而言，我们可以根据其在测试样本上的表现得到一个 TPR 和FPR 点对。这样，此分类模型就可以映射成 ROC 平面上的一个点。调整这个分类模型分类时候使用的值，我们就可以得到一个经过固定坐标:(0,0)，(1,1)的曲线，该曲线就是此分类模型的ROC 曲线。一般情况下，这个曲线都应该处于(0,0)和(1,1)连线的上方。因为(0,0)和(1,1)连线形成的ROC曲线实际上代表的是一个随机分类模型。虽然,用ROC曲线来表示分类模型的预测性能很直观、方便，但是却无法做到量化。研究者更希望能有一个具体的可量化的数值来区分分类器的好坏。于是AreaUnderrocCurye(AUC)就出现了。顾名思义，AUC的值就是处于ROCcurve 下方的那部分面积的大小。通常，AUC的值介于0.5到1.0之间，较大的AUC代表了较好的预测性能。Heagerty 教授于 2005 年提出将 AUC 的值作为评价 COX 回归模型的精确度的一个指标[36]，这里的 AUC 的值所注重的不是考察协变量之间的准确性，而是考察 COX回归模型在不同时间点的预测能力。由于PBLS模型在不同时间点具有动态变化的特征，本研究选择使用 Heagerty 教授提出的 AUC 指标对PBLS 模型进行模型预测性能的评价。所有分析均采用R软件(3.2.4版本)进行操作。