一种模拟医学专家诊疗决策思维的System2·RLM-CSDN博客

本文链接：https://blog.csdn.net/2401_84204207/article/details/146495813

这篇论文介绍了Citrus模型，一个由某友商团队开发的医疗RLM，旨在通过模拟医学专家临床诊疗思维来提升医疗决策能力。

论文指出，医疗实践的复杂性要求模型不仅需要处理大量医疗知识，还要模拟专家的复杂推理过程。然而，获取真实世界中的专家级临床推理数据非常困难，因为这些数据难以量化且难以获取。因此，开发一种能够模拟医学专家推理过程的方法成为关键。

Citrus通过模拟医学专家的决策路径来训练模型，使其能够更好地处理医疗条件的诊断和治疗。

在具体的方法创新上，研究者提出了一种数据合成方法并搭配多阶段训练方法（CPT→SFT→RL），这里仅展开跟大家说说数据合成和多阶段训练中的RL环节：

我想Citrus的数据合成方法在尝试性的模拟临床医生诊疗思维路径，并基于此提出两种主要的临床推理模式：假设演绎法和模式识别法。假设演绎法是一种从一般到个别的推理方式，通过收集信息、生成假设、验证假设并逐步修正来形成结论；模式识别法则依赖于对已知模式的快速匹配，适合处理熟悉或简单的病例。Citrus通过结合这两种方法，生成能够反映专家推理路径的数据，使模型能够学习复杂的医疗决策过程。

其中的假设演绎法采用了一种双专家推理方法。推理专家负责分析问题，生成可能的诊断假设，并进行推理；反思专家则负责评估推理过程的合理性，筛选出不合理或不相关的步骤。通过这种双专家机制，模型能够生成多个可能的结论，并逐步优化推理路径，最终得出最合理的诊断。

不过个人认为这两种数据合成方法尚需对临床诊断学在理论、法律与伦理上进一步进行探索与验证，因在数据驱动模式下，其‌Ground Truth将会非常重要且尤其在严肃医学领域，好的一点是也许这会进一步推进诊断学科的理论发展，也许未来的精准医学范式亦会改变这种推理范式。

对于论文中Citrus模型所采用的RL训练阶段，主要采用了simPO（Simple Preference Optimization）和类CPO（一种元启发式算法，我更愿意称之为冠豪猪适者生存法哈哈）的混合方法。

通过采用simPO直接使用策略模型生成的平均对数概率作为隐式奖励，避免了对参考模型的依赖，从而减少了计算和内存消耗。此外，simPO引入了长度归一化，防止模型因奖励机制偏向生成冗长但质量低下的回答。另外，鉴于simPO对学习率较敏感，引入了类CPO的NLL（Negative Log-Likelihood），失来增强训练的稳定性。这种方法结合了SIMPO的优势，同时通过保守的策略更新避免了策略优化过程中的过大波动。

Citrus模型在奖励机制上结合上述假设演绎法所采用的双专家生成策略构建以下两方面奖励：

答案正确性：模型生成的回答是否与正确答案一致，这是奖励机制的核心部分，确保模型能够生成准确的医疗推理结果。

推理过程的合理性：奖励机制还考虑了模型生成的推理过程是否符合逻辑和医学常识。这种奖励机制通过评估推理过程的合理性来引导模型遵循生成高质量的长链推理（COT）。

在数据采样与奖励分配上，Citrus模型使用了拒绝采样（Rejection Sampling）来生成训练数据。具体步骤通过重复采样，使得模型对每个问题生成多个回答，模型temperature设置为1.2；在偏好数据构建上，通过规则化奖励（基于答案正确性）对生成的回答进行评分，选择高分的正确回答和低分的错误回答作为训练数据；奖励分配机制上，不仅基于答案的正确性，还考虑了推理过程的质量，例如，模型生成的推理过程如果更接近专家的推理路径，会获得更高的奖励。训练数据格式在强化学习阶段，训练数据的格式为：<RL-input, chosen, rejected>其中：

<RL-input> 是输入问题；

<chosen> 是模型选择的正确回答；

<rejected> 是模型生成的错误回答；

这种数据格式使得模型能够在训练过程中学习如何区分高质量和低质量的回答，从而逐步提升其推理能力。

技术细节及实验结果大家可参考原论文，并与当前流行的RLM如R1、o1在领域医学数据集评估上进行了对比，还是有一定优势的。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。