VisualGLM简介 - 多模态理解

GPT-4 样例，展现出令人印象深刻的多模态理解能力，但是目前还没有能够理解图像的中文开源对话模型。

近期，智谱AI 和清华大学 KEG 实验室开源了基于 ChatGLM-6B 的多模态对话模型 VisualGLM-6B，供大家使用。

Github 链接：github.com/THUDM/Visua…

Huggingface 链接：huggingface.co/THUDM/visua…

VisualGLM-6B 可以进行图像的描述及相关知识的问答：

当前该开源方案由于数据量、模型参数量、是否用户意图对齐等限制，方案存在的一些局限性。

• 图像描述事实性/模型幻觉问题。在生成图像长描述的时候，距离图像较远时，语言模型的将占主导，有一定可能根据上下文生成并不存在于图像的内容。
• 属性错配问题。在多物体的场景中，部分物体的某些属性，经常被错误安插到其他物体上。
• 分辨率问题。本项目使用了224*224的分辨率，也是视觉模型中最为常用的尺寸；然而为了进行更细粒度的理解，更大的分辨率和计算量是必要的。

---

目前VisulaGLM未开放对应的技术论文，但可参考microsoft的多模态技术方案[2]，该方案也是支持text和image两个模态数据的输入，输出回答文本内容。