小论文速成秘诀！多模态持续学习创新方案整理

2024深度学习发论文&模型涨点之——多模态持续学习

多模态持续学习（Multimodal Continual Learning, MMCL）是一个活跃且前景广阔的研究领域，它结合了多模态数据处理技术和持续学习的能力，以使机器学习模型能够不断从新数据中学习，同时保留对已有知识的记忆力。

持续学习（Continual Learning, CL）旨在使机器学习模型能够从新数据中不断学习，同时在不遗忘已获得知识的基础上进行扩展。

多模态持续学习（MMCL）超越了简单的单模态持续学习方法，因为它需要处理来自不同模态的数据流，并在连续学习中保留以前获得的知识。

我整理了一些多模态持续学习【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。

论文精选

论文1：

ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

无需卷积或区域监督的视觉和语言变换器

方法

视觉和语言预训练（VLP）：提出了一种新的VLP模型，ViLT，它简化了视觉输入的处理，仅使用与处理文本输入相同的无卷积方式。

线性嵌入：使用简单的线性投影来嵌入像素级输入，替代了复杂的区域特征或网格特征提取。

单流方法：采用单流方法进行模态交互，即将图像和文本输入合并后一起处理，而不是分开处理。

视觉