ICLR‘25 | 多模态光谱信息赋能 3D 分子表征预训练

AITIME论道

于 2025-04-23 12:04:20 发布

阅读量352

点赞数

文章标签： 3d

原文链接：https://mp.weixin.qq.com/s?__biz=MzIzOTAxOTk3Nw==&mid=2247533567&idx=1&sn=8b2450bdccede8e1ff127adf6d222024&chksm=e85dd8964ba06460113f0b804f628258aba836b23d1b58b86a9eb09af743427648dfc27c4822&scene=126&sessionid=0

版权

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

点击 阅读原文 观看作者讲解回放！

个人信息

作者：王亮，中科院自动化所博士生

项目链接

建立分子的 3D 结构与其能量状态之间的关系被证明是学习 3D 分子表征的有效方法。然而，现有工作局限于将分子能量状态描述为经典力学中的连续势能函数，忽视了分子能量在量子力学视角下呈现的离散能级结构信息。

对此，达摩院和中科院自动化所团队提出了 MolSpectra 方法，利用多模态能谱增强 3D 分子表征预训练，融入能级结构知识，提升分子性质预测和分子动力学建模能力。

论文地址：

https://arxiv.org/abs/2502.16284

项目代码：

https://github.com/AzureLeon1/MolSpectra

研究背景

基于分子的 3D 结构预训练分子表征时，通常采用去噪策略。具体而言，这一策略通过向分子中的原子坐标随机添加噪声，然后将带有噪声的分子结构输入模型，基于模型输出的表征来预测噪声，从而实现对分子表征的学习。这类方法的理论基础在于，对分子 3D 结构进行去噪等价于学习分子力场，而分子力场对分子结构和分子性质有重要影响，证明思路如下：

相关论文：Pre-Training via Denoising for Molecular Property Prediction, In ICLR 2023.

由于分子力场是分子能量对位置的导数，因此建立分子 3D 结构与其能量状态之间的关系是学习分子 3D 表征的有效途径。基于这一理念，已有一系列后续研究不断改进去噪策略中的能量函数形式。

然而，这些研究局限于在经典力学视角下对分子的连续势能函数进行建模，而忽视了量子力学中分子的能级结构信息。因此，我们提出将分子能级结构知识融入分子表征学习的过程。

分子的能级结构数据难以直接获取，或获取成本昂贵，但可以通过分子谱学中的能谱（光谱）技术进行测量。由于光谱中吸收能量的峰值与分子在能级之间的跃迁行为相对应，因此分子光谱能够反映分子的能级结构信息。此外，不同类型的光谱可以反映不同类型的能级信息，例如，红外光谱反映了振动能级结构，而紫外-可见光谱反映了电子能级结构。

我们提出基于多模态光谱的分子 3D 表征预训练方法 MolSpectra。该方法同时利用分子光谱和分子结构编码分子表征，并将分子光谱信息与传统的分子结构信息进行对齐，从而使模型能够更准确地理解分子结构。

MolSpectra 介绍

MolSpectra 模型结构的示意图：

MolSpectra 支持对分子的多种光谱进行编码，包括紫外-可见光谱（UV-Vis）、红外光谱（IR）和拉曼光谱（Raman）。每种光谱首先被切分为 patch，然后对这些 patch 进行编码，并加入位置编码。为了更好地建模不同光谱之间的相关性，我们设计了一种基于单流 Transformer 的多光谱编码器——SpecFormer。SpecFormer 基于自注意力机制，统一处理来自不同光谱的信息，从而更好地建模官能团在不同光谱中的表现以及这些光谱之间的关联。

MolSpectra 的优化目标包括三个部分。首先，为了理解分子的 3D 结构，我们对分子 3D 结构施加去噪目标。其次，为了理解分子的多种光谱，我们引入了针对分子光谱 patch 的掩码重构目标。具体来说，我们对分子 patch 进行随机掩码，然后用 SpecFormer 输出的光谱表征对被掩码的光谱 patch 进行重构。最后，为了增强分子结构编码器对分子光谱知识的理解，我们利用对比目标将两类表征进行对齐。

实验对比

我们首先通过简单的实验验证了分子光谱信息在改善下游分子任务表现中的作用。将分子光谱特征直接与分子 3D 表征组合后输入分子性质预测模型，可以有效提升分子性质预测的性能。这一现象支持了我们进一步在分子表征预训练阶段引入分子光谱信息。

在预训练阶段引入 MolSpectra 后，在两个重要的下游基准数据集上，分子性质预测效果显著提升：

在超参数敏感性分析中，当 patch 长度为 20、patch 重叠比例为 50%、掩码比例为 10% 时，效果最佳：

在消融分析中，红外光谱对提升分子表征能力的贡献较大，而紫外光谱的贡献相对较小。这与红外光谱更直接地反映分子中官能团信息的特性相符：

我们还对 SpecFormer 中的注意力权重和最终输出的光谱表征进行了可视化分析。注意力权重整体上较为稀疏，这与分子光谱数据的稀疏性相符。此外，一些注意力头（Attention Head）关注谱内相关性，而另一些则更关注谱间相关性。输出的光谱表征整体分布均匀，并且存在局部聚类现象，这与表征学习中的均匀性（uniformity）和对齐性（alignment）特性相符，体现了光谱表征与 3D 结构表征对齐的潜力。