（2-2）多模态模型与框架：多模态模型

2.2  多模态模型

多模态模型是一类能够处理和融合来自不同模态（如文本、图像、音频等）数据的机器学习模型，它们通过联合学习不同模态的特征，实现更丰富和准确的理解和生成任务。多模态模型在诸如视觉问答（VQA）、图文生成和跨模态检索等应用中表现出色，它们能够同时理解和关联图像和文本信息，从而提高任务的效果和性能。

2.2.1  VILBERT

VILBERT（Vision-and-Language BERT）是一种多模态模型，专门设计用于处理视觉和语言任务。VILBERT扩展了BERT（Bidirectional Encoder Representations from Transformers）模型，通过并行处理图像和文本特征，来增强对多模态数据的理解能力。

1. 架构

VILBERT的架构基于BERT，但进行了显著