原生多模态大模型的一些思考【Native Omni-MLLMs】

对于原生多模态大模型，一个demo级别的例子就是：将文本、图像、音频、视频等模态输入都通过各自的tonkenizer打成tokens，然后再送到一个unified的大模型中，以生成tokens，然后通过相应的detokenizer作用去解码生成相关的文本、图像、视频、音频等输出信号。
在我看来，这样其实是与人类的认知过程是保持一致的，就是说人在脑子里面有一个融合认知的过程。换句话说，不管这些token是怎么学习的，反正都丢到一个unified的大模型中，让其自身去捕获相关的长程依赖和关联等复杂融合，来建立端到端的联系。

在人脑里面，貌似也是一个比较混沌的状态，都是在把外部信号感知到了以后，再去展开分析。本质上都是处在一个相同的语义空间里面，视觉、音频等模态全部都面向一个场景去展开分析。

所以，从这个思路去说：LLaVA那种范式貌似是不合适的，视觉encoder处于一个语义空间，后端的language decoder也处于一个语义空间里面，两者的特征空间分布其实是很割裂的，因此想通过一个adaptor来做这个事其实难度很大，并不能够将语义映射转换进行的很好。

因此，以统一的tokens形式来进行表达，可能才是真正的“原生”，而不是那种简单的做题和刷榜。

但是目前来看，做题的形式还是会流行的比较久，但是未来发展的trending一定是具身智能相关的形似，例如Visual-Language-Action。