PP-LLaVA | 同时实现了Token压缩和指令感知视觉特征聚合

已于 2024-12-05 20:12:55 修改
阅读量110 收藏
点赞数 1
文章标签： 人工智能 语言模型 计算机视觉 图像处理 深度学习
于 2024-12-05 20:06:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56711618/article/details/144274822
版权

BEI III
关注
【LLM-多模态】高效多模态大型语言模型综述
weixin_45607947的博客
06-21 2170
一、结论写在前面模型规模的庞大及训练和推理成本的高昂，限制了MLLMs在学术界和工业界的广泛应用。因此，研究高效轻量级的MLLMs具有巨大潜力，特别是在边缘计算场景中。论文深入探讨了高效MLLM文献的领域，提供了一个全面的视角，涵盖了其核心主题，包括基础理论及其扩展。论文的目标是识别并强调需要进一步研究并提出未来研究可能的方向。论文旨在提供一个关于高效MLLM当前状态的全面视角，希望能够激发更多的研究。鉴于该领域的动态性，可能有些最新的发展并未被完全覆盖。为此，论文建立了一个专门的网站，利用众包来跟上最新的
Token Compensator：无需重新微调即可改变视觉Transformer的推理成本
u014546828的博客
08-18 1142
随着ViTs规模的快速增长，其不断增加的计算成本已成为一个紧迫的问题。因此，大量研究正致力于加速ViTs的训练和推理过程。ViTs的一个特点是它们能够容纳可变数量的输入标记（tokens）。因此，除了卷积神经网络中广泛使用的模型剪枝、量化和蒸馏等传统技术外，最近的研究还提出了通过标记压缩来加速ViTs的方法，如剪除不重要的标记或合并相似的标记。标记压缩技术具有显著的优势。与剪枝和蒸馏等技术相比，一些标记压缩方法（如ToMe[2]）可以零样本地应用于现成的模型，或用于加速训练；
多模态视觉token压缩方法详解
AIBigModel的博客
11-30 2027
为提升MLLM对图像、视频的理解能力，最有效的方式就是提升visual token的个数，随之而来的则是训练、推理耗时的增加。因此，对视觉token进行压缩以提取最有用的信息至关重要。下文基于个人理解，进行梳理。已知技术方案概览：• 1.：采用多层MLP进行压缩，如Qwen2-VL中• 2.：采用Pooling（可以是不同的pool采样方式），如LLaVA-OneVision• 3.：用通道换空间，如InternVL1.1及后续系列• 4.
多模态大模型笔记：LLaVA-UHD
泊柴的博客
04-20 3739
多模态模型目前存在一个挑战——如何处理高分辨的图像。目前已经开源的模型包括 Qwen-VL、Yi-VL、Llava-1.6，处理图像的方式都显得不够好。常见的方式有两种：一是不论图像原始分辨率多大，直接图像缩放到同一的分辨率 448x448；二是将图像进行切片，然后把多个patch拼接到一起，组合成图像 Embedding。第一种方式会丢失很多图像细节，比如对于包含密集文本的图像，就不能很好的处理图片中的文字。第二种方式虽然保留的图像的高分辨率特征，但是图像的token会很长，训练起来比较费劲。
一文速览CogACT及其源码剖析：把OpenVLA的离散化动作预测换成DiT，逼近π0(含DiT的实现)
结构之法 算法之道
01-12 4377
近年来，配备视觉能力的机器人控制模型引起了广泛的兴趣，比如7-RT-1,8-RT-2-将7D动作分解为离散的token，并使用VLM PaLI-X [13]像语言token一样自回归地预测它们30-Openvla-采用和RT-2类似的方法，对动作进行tokenizing，并在Open-X-Embodiment数据集[48]上训练Prismatic VLM其中，大规模视觉-语言-动作（VLA）模型的发展[
一文速览Llama 3.1——对其92页paper的全面细致解读：涵盖语言、视觉、语音的架构、原理
热门推荐
结构之法 算法之道
07-24 2万+
llama3 刚出来时，其长度只有8K对于包括我司在内的大模型开发者是个小小的缺憾，好在很快，在7.23日，Meta发布了Llama 3.1，长度终于达到了128K这个长度使得可以直接通过我司的paper-review数据集去微调了如此，便有了本文：解读下llama3.1的paper，结果一看92页，好在昨天我司上线了基于大模型的翻译系统，​那先翻译一下 快速看下大概 然后慢慢抠。
51c视觉~合集33
whaosoft~aiotの开发板商城
12-21 816
我自己的原文哦~ https://blog.51cto.com/whaosoft/121638493D场景的大语言模型：在鲁棒数据训练下的3DLLM新SOTA!介绍多模态大语言模型（Multi-modal Large Language Models, MLLMs）以文本模态为基础，将其它各种模态对齐至语言模型的语义空间，从而实现多模态的理解和对话能力。近来，越来越多的研究聚焦于3D大语言模型（3DLLM），旨在实现对3D物体以及复杂场景的理解，推理和自由对话。与2D MLLMs所能接触的广泛的多模态数据
分享丨万字长文总结多模态大模型最新进展（Modality Bridging篇）
2401_85377976的博客
08-06 1214
因为该层专注于整合 [CLS] 特征以用于对比学习。MLP adapter：a two-layer SwiGLU MLP，用于将ViT的输出映射到与文本特征相同的空间。所有的图像特征在语言模型中共享相同的「位置编码 id」。Visual expert module：在 LLM 的每一层中引入可训练的 visual expert，其包含专门处理 image feature 的「QKV 矩阵」和「MLP 层」，以实现深度的视觉-语言特征对齐。
万字长文总结多模态大模型最新进展（Modality Bridging篇）
人工智能讲师分享前沿技术
07-30 719
因为该层专注于整合 [CLS] 特征以用于对比学习。MLP adapter：a two-layer SwiGLU MLP，用于将ViT的输出映射到与文本特征相同的空间。所有的图像特征在语言模型中共享相同的「位置编码 id」。Visual expert module：在 LLM 的每一层中引入可训练的 visual expert，其包含专门处理 image feature 的「QKV 矩阵」和「MLP 层」，以实现深度的视觉-语言特征对齐。
高压开关柜局部放电信号分析系统
m0_61057267的博客
04-28 864
这个项目是我在2025年实现的高压开关柜局部放电信号分析系统，目的是通过采集分析局部放电信号，判断设备的工作状态和潜在故障。系统包含从信号模拟生成、特征提取、到深度学习模型训练的全流程，最终可自动生成分析报告。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 2603
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
人工智能(AI)对网络管理的影响
ITmoster的博客
04-25 1309
AI正从工具演变为网络管理的“核心大脑”，其价值不仅在于效率提升，更在于为复杂问题提供系统性解决方案。
LibrePhotos本地部署打造个人云相册安全存储和分享家庭照片(1)
YYDsis的博客
04-24 1453
手机里塞满了珍贵回忆，却担心一不小心就被偷看？别怕，今天我就教你一个绝招——使用自建私有云相册。这不仅比Google Photos更安全可控，还无需公网IP或域名，因为咱们有cpolar这个神器来帮忙打通内网壁垒！跟着我一起，让你的照片管理从此变得既酷又安全吧！
花费7元训练自己的GPT 2模型
最新发布
04-28 768
在上一篇博客中，我介绍了用Tensorflow来重现GPT 1的模型和训练的过程。这次我打算用Pytorch来重现GPT 2的模型并从头进行训练。GPT 2的模型相比GPT 1的改进并不多，主要在以下方面：1. GPT 2把layer normalization放在每个decoder block的前面。2. 最终的decoder block之后额外添加了一个layer normalization。3. 残差层的参数初始化根据网络深度进行调节。
tokenizer的用法
大多_C的博客
04-25 771
可以基于现有 tokenizer 进行修改，如添加自定义的 token（tokenizer.add_tokens([“新词”])），从而扩展词汇表，此时可调用 tokenizer.resize_token_embeddings(model) 更新模型嵌入层。]}，有时还会包含其他信息比如 “token_type_ids”、“offset_mapping”（用于对齐）等。• return_tensors: 指定返回类型，如 “pt”（PyTorch tensor）、“tf” 或 “np”（NumPy 数组）
PyTorch生成式人工智能实战（3）——分类任务详解
盼小辉丶的博客
04-25 1515
在本节中，将学习如何使用 PyTorch 创建深度神经网络来执行二分类和多类别分类任务，以便熟练掌握深度学习和分类任务。具体而言，我们将构建一个完整的端到端深度学习项目，使用 PyTorch 将灰度图像的服装物品分类为不同类别，包括外套、包、运动鞋、衬衫等。目的是创建能够执行二分类和多类别分类任务的深度神经网络，为后续学习奠定基础。
GroundVLP论文精读
记录知识，分享知识
04-27 675
视觉定位是一项关键的视觉-语言任务，要求模型根据查询捕捉视觉上下文中的对象及其空间和属性信息。然而，由于视觉接地任务的标注数据受限于耗时且劳动密集的标注过程，导致训练模型的泛化能力受限，难以应对更广泛的领域。为解决这一挑战，我们提出了 GroundVLP，一种简单但有效的零样本方法，利用从图像-文本对和纯对象检测数据中获取的视觉接地能力，这两者相比视觉接地标注数据更易获取且覆盖更广的领域。GroundVLP 提出了一种融合机制，结合 GradCAM 的热图和开放词汇检测器的对象提议。
AI 工程师崛起：科技浪潮下的新兴力量
2401_86652632的博客
04-25 1058
在当今科技迅猛发展的时代，人工智能（AI）无疑是最热门的领域之一。随着基础模型的涌现和开源 / API 的普及，一种新兴的职业 ——AI 工程师，正逐渐崭露头角。他们在 AI 技术的应用和开发中扮演着关键角色，其崛起背后有着诸多深刻的原因，并且正在重塑整个科技行业的格局。今天，就让我们深入探究 AI 工程师这一职业的发展脉络。
人工智能与机器学习：二元分类决策树构建指南
AI人工智能的学习之路
04-24 1049
本文围绕构建用于二元分类的决策树展开。先介绍决策树的概念、结构及元素，以邮件欺诈检测为例说明其工作原理。接着讲解构建决策树的基尼不纯度指标，包括分类和连续变量的计算方法。最后给出Python实现，定义 DIYClassificationDecisionTree 类，包含超参数设置、数据划分、拟合及构建树等方法，助读者掌握决策树构建技巧。
tiny-llava
02-09
### Tiny-Llava 技术概述 Tiny-Llava 是一种轻量级的大规模语言和视觉辅助模型，继承了 Power-LLaVA 和 DeepSeek-VL 架构的优点。该模型旨在通过减少参数数量来优化性能，同时保持强大的多模态理解和生成能力[^1]。 #### 主要特点 - **紧凑设计**：相比完整的大型模型，Tiny-Llava 减少了计算资源需求，更适合边缘设备部署。 - **高效训练**：采用先进的压缩技术和迁移学习方法，在不影响效果的前提下缩短训练时间。 - **灵活应用**：支持多种输入形式（文本、图像），适用于广泛的任务场景如问答系统、聊天机器人等。 #### 安装指南 为了安装并运行 Tiny-Llava，需遵循以下步骤： 1. 创建虚拟环境并激活它； 2. 使用 pip 工具安装依赖库； 3. 下载预训练权重文件； 4. 加载模型实例准备推理。 ```bash # 创建 Python 虚拟环境 python -m venv tiny_llava_env source ./tiny_llava_env/bin/activate # Windows 用户应使用 `.\tiny_llava_env\Scripts\activate` # 更新 pip 并安装必要的包 pip install --upgrade pip pip install torch torchvision transformers datasets # 获取官方发布的最新版本权重 wget https://example.com/path/to/tiny_llava_weights.pth ``` #### 推理示例 下面是一个简单的 Python 代码片段展示如何加载已保存的 Tiny-Llava 模型来进行预测操作： ```python from transformers import AutoModelForVision2Seq, AutoProcessor processor = AutoProcessor.from_pretrained("path_to_processor_config") model = AutoModelForVision2Seq.from_pretrained("path_to_model") def predict(image_path, text_query): inputs = processor(images=image_path, text=text_query, return_tensors="pt") outputs = model.generate(**inputs) result = processor.decode(outputs[0], skip_special_tokens=True) return result ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值