InstructBioMol：一种多模态生物分子语言模型-CSDN博客

本文链接：https://blog.csdn.net/Python_cocola/article/details/144619296

导读

人工智能在生物分子研究领域取得了重大进展，例如 AlphaFold 和 RoseTTAFold All-Atom 在生物分子结构预测方面的应用。然而，如何使用自然语言有效地理解和设计生物分子仍然是一个关键挑战。现有的 AI 工具难以将分子的复杂性与研究人员用自然语言表达的直观目标相一致。

为了解决这个问题，作者提出了 InstructBioMol，这是一个统一的多模态大型语言模型，它能将自然语言与分子和蛋白质数据相结合。该模型采用了一个 motif 引导的多模态特征提取模块，利用预先训练的编码器来获取分子的二维拓扑和三维几何细节，以及蛋白质的一维序列和三维几何特性。此外，InstructBioMol 利用一个 motif 提示提取器来引导多模态特征融合，该提取器利用嵌入在 motif 中的生物学知识。

图 1. InstructBioMol 概述。a. InstructBioMol 是一个统一的多模态大型语言模型，适用于自然语言、分子和蛋白质。它可以接受自然语言文本、多模态分子和蛋白质数据的输入，并以文本形式生成自然语言、分子或蛋白质的输出。b. Motif 引导的多模态特征提取模块处理分子的二维图形和三维结构，以及蛋白质的一维序列和三维结构。预先训练的模态特定编码器从这些输入中获取表示，然后由 Transformer 编码器对其进行处理。Transformer 解码器使用 motif 提示和可学习的查询生成多模态特征，以集成到语言模型中。c. 我们收集了亿级规模的数据集，分为持续预训练数据和指令微调数据。指令微调用于实现分子、蛋白质和自然语言之间的任意配对对齐。两阶段指令微调范式使模型能够从低质量的海量数据（阶段 1）学习到高质量的精炼数据（阶段 2）。d. InstructBioMol 实现了分子与自然语言、蛋白质与自然语言以及分子与蛋白质之间的对齐。这使得它能够遵循人类的指示，促进对生物分子的理解和设计。

通过在大规模的指令微调数据集上进行训练，InstructBioMol 能够理解和设计符合人类意图的生物分子。

实验结果表明，InstructBioMol 在理解和设计分子和蛋白质基准任务方面取得了 12% 的总体改进。此外，InstructBioMol 在生成针对特定目标蛋白的药物分子和为特定底物设计酶蛋白方面表现出了潜力。

例如，InstructBioMol 设计的药物分子在结合亲和力方面提高了 10%，而其设计的酶的 ESP 得分为 70.4，超过了 ESP 开发者建议的酶 - 底物相互作用阈值 60.0。

方法

InstructBioMol 的核心在于 Motif 引导的多模态特征提取模块，该模块利用生物学知识来指导多模态特征融合，从而增强对复杂生物数据的理解和处理。

为了有效地提取和融合来自不同来源的特征，该模块采用了 Transformer 编码器 - 解码器架构。该架构的自注意力机制允许对输入数据的各个部分进行动态加权，从而能够专注于跨模态和模态内的最相关特征。编码器捕获显着特征，而解码器则协同这些特征以构建融合的多模态表示。

此外，研究人员扩展了语言模型的词汇表，以适应分子和蛋白质，并为其多模态特征标准化了输入格式。这种方法通过将分子或蛋白质整合到文本格式中来增强语言模型解释生物分子的能力。

为了解决数据质量的差异，研究人员采用了分两阶段进行的指令微调策略。第一阶段利用大量数据建立生物分子对齐的基础，而第二阶段则利用高质量数据对模型进行微调，以提高其性能。

为了验证模型在分子理解和设计方面的能力，作者进行了分子描述和基于描述的分子生成等任务。实验结果表明，InstructBioMol 在理解和设计分子方面均表现出色。

此外，作者还对蛋白质特性回答和基于描述的蛋白质生成等任务进行了实验。结果表明，InstructBioMol 在理解和设计蛋白质方面也表现出优于现有方法的性能。

主要结论

InstructBioMol 的核心优势在于其多模态数据整合和指令微调训练策略。 该模型利用 Motif 引导的多模态特征提取模块，有效地融合了来自分子和蛋白质的一维、二维和三维数据。此外，InstructBioMol 采用了分阶段的指令微调训练流程，从大规模数据逐渐过渡到精细数据，从而逐步提高模型在理解和生成生物分子信息方面的准确性和效率。

实验结果表明，InstructBioMol 在各种生物分子任务中均表现出卓越的性能。 在分子理解和设计任务中，InstructBioMol 在分子描述生成和基于描述的分子生成方面均取得了最佳结果。在蛋白质理解和设计任务中，InstructBioMol 在回答蛋白质特性问题和基于描述的蛋白质序列生成方面同样表现出色，优于现有的蛋白质特异性语言模型。

InstructBioMol 在实际应用中展现出巨大潜力。 在基于目标蛋白的药物发现任务中，InstructBioMol 生成的类药物分子表现出更高的目标蛋白亲和力和更优的理化性质。在基于目标底物的酶设计任务中，InstructBioMol 设计的酶蛋白与底物表现出更强的结合能力，表明其在生物催化等领域具有广阔的应用前景。

消融实验进一步证实了 InstructBioMol 设计的有效性。 结果表明，持续预训练和分阶段指令微调对模型性能的提升至关重要。此外，多模态数据整合，特别是三维结构信息的引入，显著提高了模型处理分子和蛋白质相关任务的能力。

局限

InstructBioMol 也存在一些局限性。计算资源的限制使其无法完全支持所有生物分子，例如 DNA 和 RNA。此外，它还没有在所有生物分子任务中进行全面训练，这限制了它处理某些额外任务的能力，例如化学反应预测。然而，基于当前的模型架构和训练框架，InstructBioMol 表现出强大的可扩展性。通过整合更多的多模态编码器并扩展其词汇表，它可以增强其对其他生物分子的编码和生成能力，并且可以通过额外的指令数据轻松地适应新任务。

另一个问题是将大型语言模型与生物分子相结合所带来的深远影响和潜在风险。确保大型语言模型与人类伦理相一致至关重要。例如，在利用大型语言模型设计新型生物分子时，必须遵守严格的伦理准则，以避免不负责任的实验和潜在的生物安全危害。未来，作者计划加强 InstructBioMol 与人类价值观和伦理的协调一致，确保其符合社会规范，使其能够安全有效地激发生物分子创新。

InstructBioMol 的核心价值在于开创了一种利用大型语言模型处理生物分子数据的新范式，展示了通用智能在处理一个模型中的各种任务方面的潜力。随着计算资源的增加、训练数据的丰富以及与人类伦理的进一步协调，预计 InstructBioMol 将不断发展并有效、安全地支持更广泛的任务，为推动人工智能 (AGI) 在科学研究中的应用奠定基础。

总结

生物分子（如蛋白质和小分子）的设计对于药物发现、合成生物学和酶工程至关重要。近年来，人工智能 (AI) 的突破彻底改变了生物分子研究，在生物分子预测和设计方面取得了显著成果。然而，人工智能的计算能力与研究人员使用自然语言将分子复杂性与其意图相结合的直觉之间仍然存在巨大差距。大型语言模型 (LLM) 已显示出解读人类意图的潜力，但由于专业知识要求、多模态数据集成以及自然语言与生物分子之间的语义对齐等挑战，LLM 在生物分子研究中的应用仍处于起步阶段。

为了解决这些问题，作者提出了 InstructBioMol，这是一种新型 LLM，旨在通过自然语言、分子和蛋白质的全面“任意到任意”对齐来弥合自然语言和生物分子之间的差距。该模型可以整合多模态生物分子作为输入，使研究人员能够用自然语言表达设计目标，并提供满足精确生物学需求的生物分子输出。

实验结果表明，InstructBioMol 可以理解和设计符合人类指令的生物分子。值得注意的是，它可以生成结合亲和力提高 10% 的药物分子，并设计出 ESP 得分为 70.4 的酶，使其成为唯一超过 ESP 开发人员推荐的酶 - 底物相互作用阈值 60.0 的方法。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述