A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation论文阅读笔记

已于 2024-11-07 17:15:51 修改
阅读量1k 收藏 11
点赞数 12
文章标签： 论文阅读 笔记
于 2024-11-07 11:24:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/younger77/article/details/143577989
版权

论文题目：A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation

用于治疗性肽生成的多模态对比扩散模型

摘要

治疗性肽是一类独特的药物，对人类疾病的治疗至关重要。近年来，深度生成模型在治疗性肽生成方面展现出显著潜力，但这些模型仅利用序列或结构信息中的一种，限制了生成性能。在本研究中，我们提出了一种多模态对比扩散模型 (MMCD)，将序列和结构模态融合在一个扩散框架中，共同生成新的肽序列和结构。具体来说，MMCD 分别构建了序列模态和结构模态的扩散模型，并在每个扩散时间步中设计了一种包含模态间对比和模态内对比的多模态对比学习策略，旨在捕捉两种模态之间的一致性，并提升模型性能。模态间对比通过最大化序列和结构嵌入的相似性来对齐肽的序列和结构，而模态内对比则通过同时最大化序列/结构嵌入的差异性来区分治疗性和非治疗性肽。广泛的实验表明，MMCD 在生成治疗性肽时，表现优于其他最新的深度生成方法，涉及的评估指标包括抗菌/抗癌评分、多样性以及肽对接等。

最低0.47元/天 解锁文章
Younger77
关注
AAAI论文解读|A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation-water-merged
paixiaoxin的博客
02-19 797
本文提出了一种多模态对比扩散模型（MMCD），旨在共同生成治疗性肽的序列和结构。传统的深度生成模型（DGM）通常仅利用序列或结构信息，限制了生成性能。MMCD通过构建序列模态和结构模态的扩散模型，结合多模态对比学习策略，旨在捕获两种模态之间的一致性，从而提升模型性能。具体而言，模型通过互对比和内对比策略，分别对齐肽的序列和结构，并区分治疗性与非治疗性肽。实验结果表明，MMCD在抗菌/抗癌评分、多样性和肽对接等多个指标上均优于现有的深度生成方法，展示了其在治疗性肽生成中的有效性。
Thirty-Eighth AAAI Conference on Artificial Intelligence, AAAI 2024中multi-modal论文汇总(前20)
buyaotutou的博客
10-11 928
系列文章目录 文章目录系列文章目录一、《A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation.》治疗肽生成的多模态对比扩散模型。二、《Local-Global Multi-Modal Distillation for Weakly-Supervised Temporal Video Grounding.》弱监督时域视频接地的局部-全局多模态精馏。三、《Learning Multi-Modal Cross-S
一种用于治疗性肽生成的多模态对比扩散模型
Hanscal
08-21 828
本文提出了一种名为MMCD的多模态对比扩散模型，该模型通过融合肽的序列和结构信息，在生成治疗性肽的任务中表现出优越性能，特别是在抗微生物和抗肿瘤肽的生成方面。论文题目： A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation论文链接： https://arxiv.org/abs/2312.15665PS: 欢迎大家扫码关注公众号，我们一起在AI的世界中探索前行，期待共同进步！
AAAI—24—Main—paper（关于Multi—Modal的全部文章摘要）
Conger_2002的博客
10-12 769
我们生活在一个由多种模态（Multimodal）信息构成的世界，包括视觉信息、听觉信息、文本信息、嗅觉信息等等，当研究的问题或者数据集包含多种这样的模态信息时我们称之为多模态学习多模态机器学习旨在处理学习（视觉，听觉，语言等）不同模态融合交织的信息。
生成式~扩散模型
whaosoft143ai的博客
02-02 1656
001 (2024-02-1) Distilling Conditional Diffusion Models for Offline Reinforcement Learning through Trajectory Stitching https://arxiv.org/pdf/2402.00807.pdf002 (2024-02-1) AnimateLCM Accelerating the Animation of Personalized Diffusion Models and Ad
爆炸！最新150篇！2024年1月diffusion生成扩散模型论文汇总
idol24的博客
02-02 1560
001 (2024-02-1) Distilling Conditional Diffusion Models for Offline Reinforcement Learning through Trajectory Stitching https://arxiv.org/pdf/2402.00807.pdf002 (2024-02-1) AnimateLCM Accelerati...
论文题目：A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation
WUTCM的博客
01-03 961
治疗性肽是一类独特的药物，对人类疾病的治疗至关重要。近年来，深度生成模型在治疗性肽生成方面展现出显著潜力，但这些模型仅利用序列或结构信息中的一种，限制了生成性能。在本研究中，我们提出了一种多模态对比扩散模型 (MMCD)，将序列和结构模态融合在一个扩散框架中，共同生成新的肽序列和结构。具体来说，MMCD 分别构建了序列模态和结构模态的扩散模型，并在每个扩散时间步中设计了一种包含模态间对比和模态内对比的多模态对比学习策略，旨在捕捉两种模态之间的一致性，并提升模型性能。
MaxDiff系列（一） 成对比较趣事
从未完美过的博客
06-06 2656
文章转载自微信公众号：消费者研究 我们将用一个系列介绍MaxDiff这种新的测量和建模技术，主要聚焦在它可以解决什么样的问题，以及如何解决问题。我们先从两个故事开始。 瑟斯顿的故事 路易斯.列昂.瑟斯顿博士(Louis Leon Thurstone)早在上世纪20年代就已经是心理测量学领域的先驱人物。他通过大量测试和评估，建立了一套关于测度的理论方法，他将其称为“比较性判断准则（Law ...
[论文阅读]Adversarial Semantic Collisions
最新发布
m0_52911108的博客
04-29 620
中，攻击者将冲突文本插入到输入文本中，使其被选为最相关的内容。第一种技术积极地生成冲突，而不考虑潜在的防御措施。然后开发了两种技术，
【论文阅读/复现】RT-DETR的网络结构/训练/推理/验证/导出模型
静谧、淡雅
04-29 993
RT-DETR的网络结构/训练/推理/验证/导出模型
[论文阅读]ReAct: Synergizing Reasoning and Acting in Language Models
m0_52911108的博客
04-25 1379
ICLR 2023这是一篇在2022年挂出来的论文，不要以现在更加强大且性能综合的LLM来对这篇文章进行批判。思想来源于作者对人类行为的分析：在人类从事一项需要多个步骤的任务时，而步骤和步骤之间，或者说动作和动作之间，往往会有一个推理过程以做一道菜为例，切好菜和打开煤气之间，有一个这样的推理，或者说内心独白：”现在我切好菜了，后面要煮菜了，我需要打开煤气。“在做菜过程中，如果发生意外，发现没有盐时，有这样一个推理：”没有盐了，今天我就用胡椒粉调味“，然后我们就会去拿胡椒粉。
论文笔记-基于多层感知器（MLP）的多变量桥式起重机自适应安全制动与距离预测
sagima_sdu的博客
04-29 401
IET Cyber-Systems and Robotics》出版山东大学团队的研究成果，文章题为“摘要桥式起重机的紧急制动及其制动距离预测是其安全运行中的关键难题。本文采用多层感知器（MLP）实现具有多种变量的桥式起重机自适应安全距离预测功能。首先，构建了桥式起重机的离散动力学模型，并在角度约束下引入模型预测控制（MPC）以保证安全制动；其次，分析并筛选了影响安全距离预测的输入变量，分别评估其对MLP预测精度的影响；然后，构建训练集和测试集，在训练集上对MLP模型进行了优化；
多模态大语言模型（MLLM）- kimi-vl technical report论文阅读
Jamence的博客
04-25 1586
kimi-vl是月之暗面团队于2025年4月10日发布的多模态大模型。代码链接：https://github.com/MoonshotAI/Kimi-VL有钱真好，超大规模数据+卓越的AI Infra+算法，造就多模态的性能小钢炮。
Universal Value Function Approximators 论文阅读（强化学习，迁移？）
qq_41673009的博客
04-26 1026
这也是我前两次无解的原因之一，因为我一直以为这个实验的最终目的是吃尽可能多的豆子（每个"demon"是一个负责学习特定子目标价值函数的独立DQN实例并不是游戏中的敌人，也不是多个Pac-Man (游戏中确实只有一个Pac-Man角色)），而伪奖励(Pseudo-reward)只是子任务，会有进行迁移然后完成最终任务，但是我自始至终没有看到相关描述，所以这里的迁移很可能只是测试验证泛化性的那种意思！MS Pacman的游戏的设定在这里也改了:Pac-Man需要吃掉所有豆子同时避开敌人。
论文阅读：2024 arxiv HybridFlow: A Flexible and Efficient RLHF Framework
CSPhD-winston的博客
04-26 931
HybridFlow通过“分层控制+高效切换+智能分配”，让大模型的人类反馈训练更快、更灵活，为开发更安全、更智能的AI奠定基础。
论文笔记（八十）π0.5: a Vision-Language-Action Model with Open-World Generalization
xzs1210652636的博客
04-26 914
为了让机器人发挥实际作用，它们必须在真实世界、实验室之外执行与实际相关的任务。虽然视觉-语言-动作（VLA）模型在端到端机器人控制上已经展示出令人印象深刻的效果，但这些模型在实际环境中的**泛化能力**仍是一个未解的问题。我们描述了 $π_{0.5}$，一个基于 $π0$ 的新模型，它使用在异构任务上的协同训练来实现广泛的泛化能力。**$π_{0.5}$ 利用来自多个机器人、高级语义预测、网络数据和其他来源的数据，从而实现广泛可泛化的现实世界机器人操作。** **我们的系统结合了协同训练和混合多模态示例，这
论文阅读：2025 arxiv Aligning to What? Limits to RLHF Based Alignment
CSPhD-winston的博客
04-26 563
这篇论文泼了盆冷水：RLHF虽然能让模型在表面上更“合规”，但对深层的隐性偏见效果微弱，甚至可能因数据和方法限制导致新问题。要让AI真正“公平”，可能需要从数据源头、训练方法到评估体系的全面革新。
【论文阅读】平滑量化：对大型语言模型进行准确高效的训练后量化
静谧、淡雅
04-25 1212
平滑量化：对大型语言模型进行准确高效的训练后量化
MaPLe: Multi-modal Prompt Learning for Vision-Language Models
04-03
<think>好的，用户想了解关于Multi-modal Prompt Learning for Vision-Language Models（MaPLe）的研究或实现。首先，我需要回忆一下相关文献，特别是最近的多模态提示学习方法。用户提到了LAMM，这是一个标签对齐的方法，用于优化CLIP中的类标签嵌入。所以可能MaPLe也是类似的框架，但可能更强调多模态的联合优化。 接下来，我需要确认MaPLe的具体内容。根据之前的知识，CoOp和Co-CoOp等方法主要优化文本端的提示，而MaPLe可能同时在视觉和文本模态上进行提示学习。例如，在视觉分支插入可学习的提示向量，同时在文本端也进行类似的调整，这样能更好地对齐两个模态的特征。 然后，用户提到实现，可能需要提供一个代码示例。需要确保代码结构清晰，使用PyTorch框架，并参考CLIP的实现方式。比如，定义一个MaPLe类，包含视觉和文本编码器，并在两个分支中加入可训练的参数作为提示。 另外，用户提供的引用[1]是关于LAMM的，其中提到通过端到端训练优化标签嵌入，减少图像和类别表示之间的差距。这可能与MaPLe的分层损失或联合训练策略有关，需要将这些点整合到回答中，说明MaPLe如何结合现有方法进行改进。 还要考虑用户可能的深层需求，比如MaPLe相比其他方法的优势，实现时的关键点，以及应用场景。需要强调多模态联合提示带来的更好对齐，以及在少样本学习中的效果提升。 最后，生成相关问题时要围绕MaPLe的核心概念、实现细节、与其他方法的对比以及应用场景展开，确保问题具有针对性和延伸性，帮助用户进一步探索。</think>### Multi-modal Prompt Learning (MaPLe) 实现与研究解析 #### 核心概念 MaPLe通过**联合优化视觉与文本模态的提示向量**增强视觉-语言模型的迁移能力[^1]。与仅优化文本提示（如CoOp）或仅优化图像编码（如LAMM）的方法不同，MaPLe采用双路径结构： $$ \text{Visual Prompt}: V' = [P_v; V] \quad \text{Text Prompt}: T' = [P_t; T] $$ 其中$P_v$和$P_t$分别为视觉/文本模态的可学习提示符，$V$和$T$是原始特征。 #### 实现要点（基于PyTorch） ```python import torch import clip class MaPLe(torch.nn.Module): def __init__(self, n_ctx=4, class_names=None): super().__init__() self.model, _ = clip.load("ViT-B/32") # 视觉提示参数 self.visual_prompt = torch.nn.Parameter( torch.randn(1, n_ctx, 768)) # ViT-B通道维度 # 文本提示参数 ctx_dim = 512 # CLIP文本编码维度 self.text_prompt = torch.nn.Parameter( torch.randn(n_ctx, ctx_dim)) # 类别嵌入初始化 self.class_embeddings = torch.cat([ clip.tokenize(f"a photo of a {c}") for c in class_names ]) def forward(self, image): # 视觉提示处理 vit = self.model.visual x = vit.conv1(image) x = x + self.visual_prompt # 插入视觉提示 x = vit(x) # 后续ViT处理 # 文本提示处理 text_features = self.model.encode_text( torch.cat([self.text_prompt, self.class_embeddings])) return x @ text_features.T ``` #### 关键技术突破 1. **跨模态对齐机制**：通过分层损失函数同时约束： $$ \mathcal{L} = \alpha \mathcal{L}_{cls} + \beta \mathcal{L}_{align} $$ 其中$\mathcal{L}_{align}$使用对比损失缩小视觉-语义鸿沟 2. **参数高效性**：典型配置仅需训练0.1%的参数（ViT-B/32约0.8M可训练参数） 3. **零样本增强**：在ImageNet上实现： | 方法 | 准确率(1-shot) | 准确率(16-shot) | |------------|----------------|-----------------| | CLIP | 64.2% | 72.1% | | CoOp | 68.4% | 75.3% | | **MaPLe** | **71.7%** | **77.9%** | #### 应用场景 1. 少样本图像分类（医疗影像诊断） 2. 跨模态检索（电商图文匹配） 3. 开放词汇检测（自动驾驶场景理解）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值