临床预测模型进入临床实践的Checklist

临床预测模型进入临床实践的Checklist

使用checklist之前，

• 一个预备步骤是确定使用概率作为预测模型的预测结果或者使用分类作为预测模型的预测结果。
• 另一个预备步骤是确定数据是否是不平衡数据。

1. 性能评估是否达到要求？

• 区分度：评估模型区分不同患者组（如患病与未患病）的能力，常用指标如AUC-ROC；不平衡数据要使用AUC-PRC。如果采用类别作为预测模型预测结果，区分度是最重要的指标。
• 校准度：检查模型预测概率与实际发生概率的一致性，通过校准曲线进行评估。如果采用概率作为预测结果，校准度是最重要指标。
• 外推性：验证模型在不同于训练数据集的外部数据集上的表现，确保模型的泛化能力。

2. 是否有明确的后续临床措施？

• 后续临床措施，一方面在决策曲线分析（DCA）中用于确定决策阈值。
• 后续临床措施，另一方面用于设定明确的临床操作路径，确保模型预测结果能有效转化为实际的临床干预措施，并对临床实践产生影响力。

3. 是否确定了模型决策阈值？

• 如果采用预测概率作为模型预测结果，采用临床决策曲线分析（DCA）给出决策阈值的合理范围。
• 如果采用类别作为模型预测结果， 采用最大约登指数对应的cutoff值或默认的0.5。

4. 是否提供了友好界面的用户界面？

• 开发预测WebApp，提供便捷的用户交互界面。界面中应包括预测功能、外部验证辅助工具、背景知识介绍等。
• 列线图，功能有限，可以展示变量的重要性，也可以粗略得出模型的预测概率。

5. 是否进行了临床影响验证？

• 通过随机对照试验（RCT）或观察性研究，评估模型对临床结局的积极影响。
• 验证模型在实际临床环境中的有效性和安全性。

6. 是否通过了伦理审查？

• 确保模型的开发、验证及应用过程符合所有相关的临床伦理规范。
• 通过临床伦理审查委员会的审批，保障患者权益和隐私安全。
• 持续更新与维护， 建立模型更新机制，定期评估模型性能并根据新数据进行调整。
• 提供技术支持和用户培训，确保临床用户能够正确使用和维护模型。
• 文档记录与透明性，详细记录模型的开发过程、性能指标、验证结果及伦理审查情况等。提高模型的透明性，便于同行评审和临床应用监督。