1 Paper
(1)VPGTrans: Transfer Visual Prompt Generator across LLMs (NeurIPS 2023)
- 【OpenMMLab社区开放麦讲座】《颠覆性创新:多模态对话与精准区域分割 - VPGTrans & NExT-Chat》
已知问题
- 没有用到“Instruct Tuning”,主要是基于 BLIP-2 的模型,模型架构上有些过时(目前流行的是Llama架构) [video]
2 Model
NExT-Chat
- 【OpenMMLab社区开放麦讲座】《颠覆性创新:多模态对话与精准区域分割 - VPGTrans & NExT-Chat》