Mugi_jiang的博客

MiniCPM-V系列是面壁智能推出的小参数量的开源多模态大模型，没有超过9B的版本。主打小而强。官方目前只放出了MiniCPM-Llama3-V 2.5的paper，2.0只有技术博客而且主要是效果展示。目前一共出了以下几代：MiniCPM-V、MiniCPM-V 2.0、MiniCPM-Llama3-V 2.5、MiniCPM-V 2.6。项目地址：https://github.com/OpenBMB/MiniCPM-V。

Qwen-VL家族论文解读

论文：《Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models》Github：纯手打，非机翻。

论文：《EAGLE: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders》Github：https://github.com/NVlabs/Eagle实验很多。对MLLM的视觉编码器的融合的一次对比。包括主要的不同任务的ViT的对比，不同融合策略的对比，不同模型组合的对比。验证了MLLM训练时把ViT放开很重要（之前很多工作都是冻结的）。针对多ViT组合的模型，搞了一个"预对齐"，用一个冻结的LLM把不同

论文标题：KOSMOS-2: Grounding Multimodal Large Language Models to the WorldGitHub：https://aka.ms/GeneralAI需要部署教程的话在评论区提，作者会更的。强调grounding能力的多模态大模型。构建了大规模的定位图文对数据集GRIT。能用于各种定位相关的下游任务。并非通用MLLM，没有做MME等基准的实验，可以视为一个可对话的OVD检测模型，带caption功能。先强调了一下grounding能力的重要性和

官方提供了两种使用方式，一种是用github上的，下载pt文件，但配置环境非常繁琐。分别提供了docker，和conda环境两种配置。笔者失败了，还好huggingface的环境很好配置，我直接用的LLaVA的环境。

Shikra实战

文章：VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language TasksGitHub：https://github.com/OpenGVLab/VisionLLM本文的Introduction写得很好，用MLLM做各种下游任务，特别是较难任务的同学们可以看一下原文。当前的 MLLM 输出以文本形式，这极大地限制了它们表示结构化或视觉信息的能力。现在的一些

论文：Shikra: Unleashing Multimodal LLM’s Referential Dialogue Magic揭示了mlms在理解和参与参考对话(人类沟通的一个组成部分)方面的关键差距。为了解决这个问题，我们引入了Shikra，这是一个统一的、简单的模型，旨在以自然语言理解和输出空间坐标。我们的方法不需要额外的词汇表、位置编码器或外部插件，从而保持了模型的简单性。

【代码】LLaVA部署报错：ImportError: cannot import name ‘LlavaLlamaForCausalLM‘ from ‘llava.model‘

AAAI24论文名：CLIP-Gaze: Towards General Gaze Estimation via Visual-Linguistic Model。

注意版本问题，选择适合自己的。

flash-attn版本问题，到官网上下载对应自己cuda和torch版本的whl文件，再安装，注意我一开始下了这种TRUE的版本，出现了以上错误，改下FALSE版本后解决。注意是那个TRUE和FALSE的问题！

面试中遇到的问题，自己在实践中注意到了却没有深究原因，没有回答好，特此记录和探讨这个问题。多模态大模型中需要一个输入投影模块，将视觉特征投射到LLM能理解的语言特征维度，这里就可以选择各种不同的模块。LLaVA最初用了简单的线性投射，然而作者提到这么做是为了做实验更快一点，使用复杂的模块可能会有更好的效果。后来就有用MLP的，代表工作有LLaVA后续系列、Intern-VL。还有用Q-Former的，这个是BLIP2提出的，代表工作还有Qwen-VL。

模型输入图像和用户指令，输出带有边界框的图像描述，每个边界框对应一个短语。

Tuners参数高效调优内存高效调优

LLaVA（视觉指令微调）论文精读

完整的报错信息非常之长，我一直在尝试解决后面的报错，忽略了ninja这个根本问题，浪费了两天时间，版本误我啊。为什么issue里没人说这个问题呢？最后会放下完整的报错，遇到诸如以下报错的也可以看看是不是前面有个ninja的报错。

在 PyTorch 中，.T 和 .t() 都是用于对张量进行转置操作的，但它们有一些关键的区别。

使用MiniCPM-V2.5大模型微调遇到的cuda问题