一、概述
1、是什么
是一个多模态大模型,论文全称《SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation》,不同于之前的图像文本大模型,主要面向图像问答理解。通过动态分辨率图像编码来处理任意尺寸和宽高比的图像,其作为一个统一的多模态基础模型,通过不同的指令调整,可以在现实世界中作为各种多模态 AI 助手使用,支持图像理解、生成、编辑(在指定图像通过文本指令改变图像内容)和检测等功能。但是一定要注意文章提到,当前不同的功能是不同的独立子模型实现的。
2、亮点
*任意尺寸和比例的图像理解:SEED-X 能够理解任意尺寸和比例的图像,这使得模型能够更灵活地处理现实世界中的各种视觉数据。
*多粒度图像生成:SEED-X 不仅支持高级指令性的图像生成,还支持低级图像操作任务,这包括了从高层次的指令生成图像到低层次的图像编辑。
*开源:开源了训练和微调代码,并且开源了图像编辑的内部数据。
PS
这篇文章如果单独看可能会很乱,不知道他到底有几个模型,模型结构到底是怎样。本篇文章并没有讲所有任务最终合为一个模型,其实有如下多个模型: