A Review of Multi-Modal Large Language and Vision Models

本文是LLM系列文章，针对《A Review of Multi-Modal Large Language and Vision Models》的翻译。

摘要

大型语言模型（LLMs）最近已成为研究和应用的焦点，这得益于它们前所未有的理解和生成具有人类质量的文本的能力。最近，LLM已经扩展到多模态大型语言模型（MMLLM），这扩展了它们处理图像、视频和音频信息以及文本的能力。这打开了文本到视频生成、图像字幕、文本到语音等应用程序，可以通过将LLM改装为具有多模态功能或从头开始构建MM-LLM来实现。本文对具有多模态能力的LLM以及最近的MM LLM的现状进行了广泛的回顾。它涵盖了LLM的历史发展，特别是基于Transformer的架构（如OpenAI的GPT系列和谷歌的BERT）所带来的进步，以及注意力机制在提高模型性能方面的作用。本文涵盖了LLM和MM LLM中最主要和最重要的部分，还涵盖了模型调优技术，包括微调和提示工程，这些技术根据特定任务或领域定制预训练模型。还分析了伦理考虑和挑战，如数据偏见和模型滥用，以强调负责任的人工智能开发和部署的重要性。最后，我们讨论了开源模型与专有模型在人工智能研究中的含义。通过这篇综述，我们深入了解了MM LLM在各种应用中的变革潜力。

1 引言

2 什么是语言模型？

3 专有LLM与开源LLM

4 特定的大型语言模型

5 视觉模型和多模态大型语言模型

6 模型调整