多模态大模型：InternLM-XComposer系列

多模态大模型关于RLHF的代表性文章

一、InternLM-XComposer

题目: InternLM-XComposer: A Vision-Language Large Model for Advanced Text-image Comprehension and Composition
机构：上海人工智能实验室
论文: https://arxiv.org/abs/2309.15112
代码：https://github.com/InternLM/InternLM-XComposer
任务: 交织文本-图像理解的多模态大模型
特点:
方法:
前置相关工作：CLIP、BLIP、LLaVA、MiniGPT-4、InstructBLIP

1.1 出发点

这篇论文提出了InternLM-XComposer，这是一个视觉-语言大型模型，旨在解决高级图像-文本理解和组合的问题。具体来说，它试图解决以下问题：

1. 交织文本-图像组合：InternLM-XComposer能够生成与图像无缝结合的连贯、上下文相关的文章，提供更吸引人和沉浸式的阅读体验。它可以根据写作指令智能地生成文章，并在文本中找到合适的位置插入图像。
2. 丰富的多语言知识理解：通过在广泛的多模态多语言数据库上进行训练，并采用精心设计的策略，模型在视觉内容理解方面表现出深刻的理解。
3. 最先进的性能