VM 系列——SEED-X——论文解读

一、概述

1、是什么

    是一个多模态大模型，论文全称《SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation》，不同于之前的图像文本大模型，主要面向图像问答理解。通过动态分辨率图像编码来处理任意尺寸和宽高比的图像，其作为一个统一的多模态基础模型，通过不同的指令调整，可以在现实世界中作为各种多模态 AI 助手使用，支持图像理解、生成、编辑（在指定图像通过文本指令改变图像内容）和检测等功能。但是一定要注意文章提到，当前不同的功能是不同的独立子模型实现的。

2、亮点

    *任意尺寸和比例的图像理解：SEED-X 能够理解任意尺寸和比例的图像，这使得模型能够更灵活地处理现实世界中的各种视觉数据。

    *多粒度图像生成：SEED-X 不仅支持高级指令性的图像生成，还支持低级图像操作任务，这包括了从高层次的指令生成图像到低层次的图像编辑。

    *开源：开源了训练和微调代码，并且开源了图像编辑的内部数据。

PS

    这篇文章如果单独看可能会很乱，不知道他到底有几个模型，模型结构到底是怎样。本篇文章并没有讲所有任务最终合为一个模型，其实有如下多个模型：