VLM 系列——Llava1.6——论文解读

最新推荐文章于 2024-07-11 10:27:02 发布
最新推荐文章于 2024-07-11 10:27:02 发布
阅读量944 收藏 2
点赞数 5
分类专栏： AIGC算法 文章标签： 人工智能 AIGC 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012863603/article/details/136046931
版权
AIGC算法 专栏收录该内容
31 篇文章 11 订阅 ¥89.90 ¥99.00
订阅专栏

一、概述

1、是什么

    Llava1.6 是llava1.5 的升级暂时还没有论文等，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答、根据图片写代码（HTML、JS、CSS），潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。

    本文基于CLIP的视觉编码器，以及多个版本语言解码器，使用最简单的两层FC构成MLP映射视觉特征到文本长度，构建了一个大规模的多模态模型，并且将该模型在指令视觉-语言数据上进行了微调。最大的区别是仿照monkey这篇论文也将图片分割成几个部分然后拼接送入LLM，不同是他们有使用query这种降维方式。

2、亮点

    作者认为的亮点：

    *对比开源模型CogVLM o、 Yi-VL获得更好的性能，赶超商用模型 Gemini Pro 、Qwen-VL-Plus。

    *强大的中文zero-shot能力，虽然训练数据多为英文，但是在MMBench-CN上取得SoTA结果。

    *很低的训消耗：32 GPUs 训练约一天，总共仅仅需要 1.3M数据. 计算和数据消耗仅仅是其他模型的 100-1000分之一。

    *将输入图像分辨率提升4 倍，支持三种宽高比，最高可达 672x672、336x1344、1344x336 分辨率。这使得 LLaVA-1.6 能够掌握更多的视觉细节。

    *通过改进的视觉指令调整

了解本专栏 订阅专栏 解锁全文
TigerZ*
关注
  • 5
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
VLM 系列——Llava——论文解读
TigerZ*的博客
01-28 783
Llava 全称《Visual Instruction Tuning》，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答、根据图片写代码（HTML、JS、CSS），潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。 本文基于CLIP的视觉编码器，以及LLaMa语言解码器，构建了一个大规模的多模态模型（使用最简单的单层FC映射视觉特征到文本长度），并且将该模型在指令视觉-语言数据上进行了微调。
十一、多模态大语言模型（LLaVA）
挑大梁的专栏
04-27 582
多模态学习的核心在于特征对齐多模态大语言模型的本质在于All-to-one(LLM)的特征对齐范式多模态大语言模型在处于飞速发展阶段。
LLaVA-1.6：多模态AI新标准，中文零样本能力与低成本训练革命，性能全面超越Gemini Pro
nulifancuoAI的博客
02-08 1216
在与前一版本LLaVA-1.5相比，LLaVA-1.6不仅在视觉细节捕捉、OCR能力和视觉对话方面取得了显著进步，还在多项国际评测中表现优异，全面超越了Gemini Pro等商业模型。特别值得一提的是，LLaVA-1.6展现了出色的中文零样本能力，即使用仅考虑英文多模态数据的模型，在中文多模态场景下也能取得领先的性能。LLaVA-1.6的推出，不仅设定了多模态AI的新标准，其在中文零样本能力展现和低成本训练方面的革命性进步，更是对AI领域的重大贡献。AI快站模型免费加速下载。
如何在本地使用Ollama运行开源LLMs
huang9604的博客
06-20 639
本文将指导您下载并使用Ollama，在您的本地设备上与开源大型语言模型（LLMs）进行交互的强大工具。
多模态开源模型部署Llava-v1.6-Vicuna-7B 总结
最新发布
weixin_44064434的博客
07-11 236
一段可以直接run的下载代码，超好用！
LLaVA: Visual Instruction Tuning
weixin_44966641的博客
02-27 1640
2023 年上半年，从 GPT4 接口机造训练数据来训练自己的 LLM 已成为基本操作。而在没有 GPT4V 的时代，多模态的 instruction following 数据构造却一直是个难题。LLaVA 提出了一种结合图像的各种标注信息，使用 text-only 的 GPT4 来机造多模态 instruction following 数据的方法，并首次使用多模态的 instruction following 数据训练出了 LMM。
Visual Instruction Tuning: 用LLaVA近似多模态GPT-4
Paper weekly
04-19 2685
©Paperweekly 原创 · 作者 |Chunyuan Li使用 GPT-4 进行视觉指令学习！Visual Instruction Tuning with GPT-4!▲Generated by GLIGEN (https://gligen.github.io/): A cute lava llama and glasses我们分享了 LLaVA (Language-and-Visio...
详解多模态大模型：LLaVA+LLaVA1.5+LLaVA-Med
zenRRan的博客
02-04 3822
作者：凯恩博，香港城市大学计算机科学博士编辑：青稞AILLaVA repo：https://github.com/haotian-liu/LLaVA/ LLaVA 1.0：Visual Instruction Tuning LLaVA 1.5：Improved Baselines with Visual Instruction Tuning一句话优点：1、极大简化了VLM的训练方式：Pre-tra...
VLM.rar_VLM_升力
09-19
用VLM编制了二维机翼的升力计算，与课本上的算例一致
vlm.rar_VLM_飞行器_飞行器 fortran
09-14
标题中的"vlm.rar_VLM_飞行器_飞行器 fortran"表明这是一个关于飞行器设计的Fortran编程项目，文件已经压缩为rar格式。VLM是Vehicle Landing and Maneuvering（车辆着陆和操纵）的缩写，可能是指这个程序专注于飞行...
vlm.zip_VLM_lifting_propeller_propeller design_theory
07-14
propeller design with lifting line theory
论文阅读Vision-Language Models for Vision Tasks A Survey思维导图
11-16
5. VLM Pre-training and Zero-shot Prediction: 否、否、否 VLMs的预训练 VLMs的预训练是学习图像-文本相关性。它包括三个模块：图像编码器、文本编码器和特征融合。图像编码器使用基于CNN的架构或基于...
VLM(基于linux磁盘容量修改)
03-03
### VLM(基于Linux磁盘容量修改)：深入解析与实践指南 在现代数据中心和企业环境中，磁盘容量管理是一项至关重要的任务，特别是在资源需求不断变化的场景下。本文将详细探讨如何在Red Hat Enterprise Linux (RHEL) ...
VLM 系列——LLaVA-MoLE——论文解读
TigerZ*的博客
02-06 602
整体基于Llava1.5，主要变化在于LLM增加了moe+lora模块，进行了两阶段训练（冻结图像编码器、投射层、文本编码器，只训练Lora和moe）。具体结构包含：基于CLIP的视觉编码器，文本解码器（attention层添加Lora，FFN层添加Lora版的MOE），使用最简单的两层FC构成MLP映射视觉特征到文本长度。
LLaVA：分析图像和文本数据的开源模型
安静的软件工程师
05-03 1300
LLaVA：分析图像和文本数据的开源模型
LLaVa大模型关键技术及在线演示
新缸中之脑
10-10 811
LLaVA，一种新的大型多模态模型，称为“大型语言和视觉助手”，旨在开发一种通用视觉助手，可以遵循语言和图像指令来完成各种现实世界的任务。这个想法是将 GPT-4 等大型语言模型 (LLM) 的强大功能与 CLIP 等视觉编码器相结合，创建一个经过端到端训练的神经助手，可以理解多模态指令并根据多模态指令采取行动。推荐：用快速搭建可编程3D场景在人工智能领域，目标是创建一个多功能助手，能够基于视觉和语言输入理解和执行任务。当前的方法通常依赖于独立解决任务的大型视觉模型，语言仅用于描述图像内容。
LLaVA-MoLE：稀疏混合LoRA专家缓解指令微调MLLM中的数据冲突
阿木寺的博客
02-02 610
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【大模型】交流群扫描下方二维码，加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文搞科研，强烈推荐！美团提出了LLaVA-MoLE，一种稀疏混合LoRA专家的MoE模型架构，在混合多个不同领域指令数据微调多模态大模型时，成功地缓解了领域间数据冲突的问题，在通用...
LLaVa的概述
pumpkin84514的博客
06-21 1400
LLaVa (Large Language and Vision Assistant) 是一种先进的多模态人工智能模型，能够同时处理和理解文本和图像。这意味着 LLaVa 可以在同一时间分析来自语言和视觉的输入信息，做出综合判断和生成响应。LLaVa 结合了先进的图像处理和自然语言生成技术，能够理解和生成多模态内容。这种综合能力使得 LLaVa 在许多实际应用中具有强大的潜力，能够提供更智能和丰富的用户体验。
LLM+VLM代码示例
08-21
当然，我可以给你提供一些 VLM (Visual Light Communication) 和 LLM (Low Level Message) 的代码示例。以下是一个简单的VLM代码示例： ```python import time import RPi.GPIO as GPIO # 设置GPIO引脚 LED_PIN = 18 # 初始化GPIO GPIO.setmode(GPIO.BCM) GPIO.setup(LED_PIN, GPIO.OUT) def transmit_message(message): for char in message: # 将字符转换为二进制 binary = bin(ord(char))[2:].zfill(8) # 发送二进制信号 for bit in binary: if bit == '1': GPIO.output(LED_PIN, GPIO.HIGH) else: GPIO.output(LED_PIN, GPIO.LOW) # 控制发送速度（根据实际情况调整） time.sleep(0.1) # 两个字符之间的间隔时间（根据实际情况调整） time.sleep(0.5) # 发送消息 transmit_message("Hello, World!") # 清理GPIO资源 GPIO.cleanup() ``` 这个示例使用树莓派的GPIO引脚来模拟光通信，通过控制LED的亮灭来传输二进制信号。 以下是一个简单的LLM代码示例，这里假设你是在C语言环境下进行开发： ```c #include <stdio.h> #include <string.h> // 定义消息缓冲区大小 #define BUFFER_SIZE 100 void process_message(char* message) { // 在这里实现对消息的处理逻辑 printf("Received message: %s\n", message); } int main() { char buffer[BUFFER_SIZE]; // 模拟接收消息 printf("Enter a message: "); fgets(buffer, BUFFER_SIZE, stdin); // 去除换行符 buffer[strcspn(buffer, "\n")] = '\0'; // 处理消息 process_message(buffer); return 0; } ``` 这个示例是一个简单的命令行程序，通过用户输入来模拟接收消息，并在控制台上输出收到的消息。 希望这些示例能对你有所帮助！如果你有任何其他问题，可以继续问我。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TigerZ*

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值