前面介绍了大语言模型,LLM属于Foundation model一种,除了LLM外,Foundation model还包括视觉大模型(Large Vision Models),和多模态大模型(Large Multimodal Models)。
目前比较火的文生图大模型Stable Diffusion,DALL-E、文生视频大模型Sora,图文检索,视觉内容生成都属于多模态大模型范畴,今天给大家推荐一篇多模态大模型的综述论文,后续还会推出视觉大模型论文,请持续关注。
以下是文档内容的思维导图概括:
上图阐述了多模态大模型试图解决的三个代表性问题:视觉理解任务、视觉生成任务,以及具有语言理解和生成能力通用接口。
上图描述了基础模型在语言和视觉/多模态领域的发展趋势,指出了从专门模型向通用助手演进的趋势,并强调了需要进一步研究来确定如何最佳地实现这一转变。
整篇论文章节内容结构
视觉理解总结
大语言模型的发展除了算力,数据因素外,也离不开模型架构的发展,Transformer是语言大模型的基础,在CV领域,ViT则是视觉大模型的基础。
视觉内容生成总结
图像生成大事件年表
GANs擅长于生成与训练集中的图像非常相似的逼真图像,VAEs擅长于创建各种各样的图像,现有的模型还没有成功地将这两种功能结合起来,直到Stable Diffusion的出现,它融合了GAN和VAE的优点,能生成真实且多样的图片。
CLIP是将语言和图像映射到统一嵌入空间的开山之作,是多模态大模型的基础。
BeiT,MAE,IGPT开启了图像预训练时代,CV中的BERT。
😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓