TxGemma：面向治疗学的高效通用大型语言模型技术报告

一、摘要

治疗学开发是一项成本高昂、风险极高且失败率居高不下的艰巨任务。为应对这一行业痛点，本报告详细介绍了 TxGemma—— 一套高效、通用的大型语言模型（LLM）套件，其核心能力涵盖治疗学特性预测、交互式推理及可解释性分析。与传统任务特定模型不同，TxGemma 能够整合多样化来源的信息，在治疗学开发全流程中具备广泛应用价值。该套件包含 20 亿、90 亿和 270 亿参数三种模型变体，基于 Gemma-2 在包含小分子、蛋白质、核酸、疾病和细胞系的综合数据集上进行微调优化。在 66 项治疗学开发任务的基准测试中，TxGemma 在 64 项任务上（45 项表现更优）优于或媲美当前最先进的通用模型，在 50 项任务上（26 项表现更优）优于或媲美当前最先进的专用模型。针对临床试验不良事件预测等下游治疗学任务，TxGemma 微调所需的训练数据量显著少于基础 LLM，使其在数据稀缺场景中极具优势。此外，TxGemma 包含对话式模型，成功搭建起通用 LLM 与专用特性预测器之间的桥梁，支持科研人员通过自然语言交互、获取基于分子结构的预测机理解释，并开展深度科学讨论。在此基础上，本报告进一步介绍了 Agentic-Tx—— 一个由 Gemini 2.5 驱动的通用治疗学智能体系统，具备推理、行动、工作流管理和外部领域知识获取能力。该系统在 Humanity’s Last Exam 基准（化学与生物学领域）中，相对 o3-mini（high）实现 52.3% 的性能提升；在 GPQA（化学领域）中相对 o3-mini（high）提升 26.7%；在 ChemBench 基准中，ChemBench-Preference 和 ChemBench-Mini 任务分别比 o3-mini（high）提升 6.3% 和 2.4%，