VLM 系列——MoE-LLaVa——论文解读

一、概述

1、是什么

     moe-Llava 是Llava1.5 的改进 全称《MoE-LLaVA: Mixture of Experts for Large Vision-Language Models》，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答，潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述），未知是否能偶根据图片写代码（HTML、JS、CSS）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。

    整体基于Llava1.5，包括训练数据，主要变化在于LLM换为了更小的几个版本，并且LLM增加了moe模块，进行了三阶段训练（前两个阶段和llava1.5相同，第三阶段训练moe层）。具体结构包含：基于CLIP的视觉编码器，以及多个小语言解码器（添加moe层），使用最简单的两层FC构成MLP映射视觉特征到文本长度。

2、亮点

    论文中作者的总结贡献分为三点：

    *探索了 MoE-tuning，这是一种新的三阶段训练策略&#x