【LLM多模态】CogVLM、CogAgent复现问题汇总

已于 2024-03-30 19:21:22 修改
阅读量484 收藏 8
点赞数 6
文章标签： AIGC 自然语言处理 llama 计算机视觉
于 2024-03-29 13:50:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_59060155/article/details/137142315
版权
最近在研究VLM模型，无意间发现了智谱23年12月发布的CogAgent模型[]，测了一下官方的网页demo，发现确实很好用，于是乎决定自己在云端服务器上部署一下，这篇文章总结我在私有化部署中遇到的一些小问题。
摘要由CSDN通过智能技术生成

最近在研究VLM模型，无意间发现了智谱23年12月发布的CogAgent模型[论文链接]，测了一下官方的网页demo，发现确实很好用，于是乎决定自己在云端服务器上部署一下，这篇文章总结我在私有化部署中遇到的一些小问题。

目录

Github官方项目

如何在云服务器中安装LFS

INT4量化加载报错

多卡分布式推理

Github官方项目

项目中有给出非常详细的项目部署的中英文文，也可以查看智谱的官方文档。但是在实际部署中仍然会存在一些小问题。

如何在云服务器中安装LFS

由于要从hf上远程克隆约40G的模型权重，因此需要安装lfs命令。官方文档中有lfs的安装教程࿰

最低0.47元/天 解锁文章
Bayander
关注
  • 6
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
VLM 系列——COGVLM—— 论文解读
TigerZ*的博客
01-25 809
COGVLM是一个多模态的视觉-文本模型，当前CogVLM-17B（20231130）可以完成对一幅图片进行描述、图中物体或指定输出检测框、相关事物进行问答，但是这个版本只支持一个图片（为且必为首次输入），只支持英文，几乎不支持写代码（目前测试是的）。模型分四个部分：视觉编码器、MLP适应层（对齐视觉和文本特征）、文本解码器、视觉专家模块。在不损害NLP模型原本能力的情况下，通过“视觉专家”模块 + 两层的MLP adapter 替代浅层的对齐大幅提升了模型的图片描述、视觉问答和视觉定位能力。
CogVLM大模推理代码详细解读
weixin_38252409的博客
12-14 2333
最近，我一直在查看多模态大模型相关内容，而CogVLM是我们公司需要重点研究模型。同时，CogVLM模型很少有文章涉及到代码相关解读，令更多小白困惑。介于此，我会陆续解读源码并分享。本篇文章，我将分享CogVLM推理整个pipeline走向，带大家熟知CogVLM模型推理过程，这里推理过程有别于hugginggface通用推理构建方法，本篇文章主要内容为作者训练好的参数说明、模型构建与推理stream。最终帮助大家熟知模型整个推理pipeline，特别是对sat库使用有一定认识。
CogVLM 本地部署体验（问题解决）
Qinghub‘博客
05-10 1491
CogVLM 本地部署体验，部署过程问题解决
本地部署 CogVLM
engchina的专栏
11-06 1732
本地部署 CogVLM
CogVLM多模态大模型训练代码详细教程(基于vscode调试与训练）
weixin_38252409的博客
01-08 2392
今天(2023-12-29)，我很开心，断断续续时间搞了一下CogVLM大模型训练代码，终于实现了CogVLM大模型训练。特别是我是基于vscode编辑器配置launch.json文件在RTX4090显卡实现多模态大模型训练。可能很多玩过大模型或显卡显存充足情况下，使用官网教程，顺利情况亦可实现该模型训练。然我介于显卡为云服务，不得不在一张4090显卡上实现代码解读与训练。而代码解读必然使用debug模式较佳，在多种编辑器中看到vscode能力，我实现deepspeed方式在vscode中训练大模型。
多模态大模型CogVLM：智谱AI的新篇章
nulifancuoAI的博客
11-18 365
整体性能超越或匹配谷歌的PaLI-X 55B。CogVLM-17B模型在多模态权威学术榜单上取得了综合成绩第一的成绩，在14个数据集上取得了state-of-the-art或者第二名的成绩。此外，为了减少模型的幻觉现象，CogVLM通过特定的微调和更大的参数量，显著降低了幻觉出现的频次。该模型使用了5B参数的视觉编码器和6B参数的视觉专家模块，总共11B参数建模图像特征，这甚至多于文本的7B参数量。CogVLM是一种先进的多模态模型，它在多模态理解方面取得了显著的成绩，特别是在视觉和语言的深度融合上。
LLM在多模态基于内容的推荐系统中的应用
11-21
LLM 在多模态基于内容的推荐系统中的应用 本文讨论了Large Language Models ...本文讨论了 LLM 在多模态基于内容的推荐系统中的应用，解决了数据稀疏性问题，并提供了多模态推荐数据集和增强的数据集，供研究者使用。
LLM在电商多模态内容推荐系统的探索与实践
11-21
本文探索了大语言模型（LLM）在电商多模态内容推荐系统中的应用，旨在解决推荐系统中的数据稀疏性问题。通过使用 LLM 增强 side information，系统可以更好地捕捉用户行为和项目特征，从而提高推荐结果。 一、引入 ...
支持中英文双语视觉-文本对话的可商用多模态模型
12-27
支持中英文双语视觉-文本对话的开源可商用多模态模型 # install package conda create -n Cllava python=3.10 -y conda activate Cllava pip install --upgrade pip pip install -e . 快速测试 python infer.py \ ...
金融财报问答大模型LLM.zip
03-14
"金融财报问答大模型LLM"的出现，正是为了解决这一难题，它结合了人工智能、多模态技术和易部署的特点，为金融领域的信息处理带来了一场革命。 首先，我们要理解"大模型"的概念。在人工智能领域，大模型通常指的是...
Python_PyTorch实现V引导视觉搜索作为多模态llm的核心机制.zip
最新发布
05-24
标题中的“Python_PyTorch实现V引导视觉搜索作为多模态llm的核心机制”指的是在计算机视觉和自然语言处理领域中，利用Python编程语言和PyTorch深度学习框架实现的一种创新技术。这个技术的核心是将视觉信息（V）与...
CogVLM：类 GPT-4V 的开源多模态大模型 | 清华唐杰&智谱
idol24的博客
10-12 1169
梦晨 发自 凹非寺 量子位 | 公众号 QbitAI看看这张图中有几个房子？如果你回答3个，就和GPT-4V的答案一样。但是最新开源的国产多模态模型CogVLM-17B，就能看出另有玄机。甚至能区分在图中完整可见的有3个和部分可见的有1个。CogVLM由清华和智谱AI合作开发，通讯作者为唐杰和丁铭，论文和开源代码已上传到GitHub。除这个单独案例之外，CogVLM-17B还在10项权威跨模态基准...
智谱CogVLM & CogAgent 本地部署教程
qq_45043425的博客
03-10 1664
中tokenizer model的默认路径 指定到自己下载的tokenizer,model的路径。若要中文对话功能，需要去conversation.py 中的translate_baidu。注册账号 选择"机器翻译功能" 免费领取文本翻译功能 查看文档可获取。官方下载渠道很容易中断，需要自己手动下载模型/库。到composite_demo 文件夹。修改url 后面加上自己的token。我的设备是ubuntu22.04。
CogVLM与CogAgent：开源视觉语言模型的新里程碑
AI领域分享者，关注机器学习、深度学习、自然语言处理等前沿技术，期待与您共同探索AI未来！
12-19 3585
CogVLM和CogAgent的发布，为视觉语言模型的研究和应用开启了新的篇章。我们期待看到更多的研究者和开发者利用这两款模型，推动人工智能的发展。
CogVLM：智谱AI 新一代多模态大模型
AITIME_HY的博客
10-11 975
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！以下文章来自GLM大模型：自 5 月 18 日发布并开源 VisualGLM-6B 以来，智谱AI&清华KEG潜心打磨，致力于开发更加强大的多模态大模型。基于对视觉和语言信息之间融合的理解，我们提出了一种新的视觉语言基础模型 CogVLM。CogVLM 可以在不牺牲任何 NLP 任务性能的情况下，实现视觉语言特征的深度融合。我们训练...
【LLM多模态】CogVLM图生文模型架构和训练流程
发现问题，并解决问题，批判性思维
03-24 3871
Cogvlm模型共包含四个基本组件：ViT 编码器，MLP 适配器，预训练大语言模型（GPT-style）和视觉专家模块。 - ViT编码器：在 CogVLM-17B 中，采用预训练的 EVA2-CLIP-E。也就是上图将图片进入vit encoder编码。在CogVLM-17B中，移除了ViT编码器的最后一层，因为该层专注于整合[CLS]特征以用于对比学习。 - MLP 适配器：MLP 适配器是一个两层的 MLP（SwiGLU），用于将 ViT 的输出映射到与词嵌入的文本特征相同的空间。注：所有的图像特
cogvlm：visual expert for large lanuage models
liguandong
12-11 276
2.在预训练阶段，cation中的先验信息只能被编码到浅层对齐方法中的视觉特征中，这削弱了视觉特征和文本之间的一致性。visual expert模块：在语言模型的每一层上都加了visual expert，以实现深层次的视觉语言对齐，由一个QKV矩阵和一个MLP组成，和语言模型中的QKV矩阵，MLP的形状相同，并从语言模型中初始化，语言模型中的每个attention head捕捉语义信息，可训练的visual expert可以将图像特征转换为与不同的attention head对齐，从而实现深度融合。
【LLM多模态】Cogview3、DALL-E3、CogVLM、LLava模型
发现问题，并解决问题，批判性思维
01-30 2328
丹青模型基于原生中文语料数据及网易自有高质量图片数据训练，与其他文生图模型相比，丹青模型的差异化优势在于对中文的理解能力更强，对中华传统美食、成语、俗语、诗句的理解和生成更为准确。VisualGLM 是一个依赖于具体语言模型的多模态模型，而CogVLM则是一个更广阔的系列，不仅有基于GLM的双语模型，也有基于Llama2系列的英文模型。之前的多模态模型：通常都是将图像特征直接对齐到文本特征的输入空间去，并且图像特征的编码器通常规模较小，这种情况下图像可以看成是文本的“附庸”，效果自然有限。
介绍多模态LLM知识库
03-05
多模态LLM（Language and Vision Model）知识库是一种结合了自然语言和视觉信息的知识库。它可以同时处理文本和图像数据，并通过深度学习模型进行理解和推理。 多模态LLM知识库的构建过程通常包括以下几个步骤： 1....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值