激发创新，助力研究：CogVLM，强大且开源的视觉语言模型亮相

汀、人工智能

已于 2023-11-21 10:16:45 修改

阅读量507

点赞数

分类专栏： AI项目大全：提升项目经验文章标签：语言模型人工智能自然语言处理视觉语言模型大语言模型深度学习 cv

于 2023-11-21 10:14:49 首次发布

涉及博主原创类文章，未经博主许可不允许转载

本文链接：https://blog.csdn.net/sinat_39620217/article/details/134525438

版权

AI项目大全：提升项目经验专栏收录该内容

73 篇文章 50 订阅

订阅专栏

在这里插入图片描述

项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用 CSDN 平台，自主完成项目设计升级，提升自身的硬实力。

在这里插入图片描述

激发创新，助力研究：CogVLM，强大且开源的视觉语言模型亮相

CogVLM 是一个强大的开源视觉语言模型（VLM）。CogVLM-17B 拥有 100 亿视觉参数和 70 亿语言参数。
CogVLM-17B 在 10 个经典跨模态基准测试上取得了 SOTA 性能，包括 NoCaps、Flicker30k captioning、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA 和 TDIUC，而在 VQAv2、OKVQA、TextVQA、COCO captioning 等方面则排名第二，超越或与 PaLI-X 55B 持平。您可以通过线上 demo 体验 CogVLM 多模态对话。

1.demo案例展示

CogVLM 能够准确地描述图像，几乎不会出现幻觉。
LLAVA-1.5 和 MiniGPT-4 的比较。

CogVLM 能理解和回答各种类型的问题，并有一个视觉定位版本。
CogVLM 有时比 GPT-4V(ision) 提取到更多的细节信息。

2.快速使用

CogVLM 模型包括四个基本组件：视觉变换器（ViT）编码器、MLP适配器、预训练的大型语言模型（GPT）和一个视觉专家模块。更多细节请参见论文。

2.1入门指南

我们提供两种图形用户界面（GUI）进行模型推断，分别是网页演示和命令行界面（CLI）。如果您想在Python代码中使用它，很容易修改CLI脚本以适应您的情况。

首先，需要安装依赖项。

pip install -r requirements.txt
python -m spacy download en_core_web_sm

硬件要求
- 模型推断：1 * A100(80G) 或 2 * RTX 3090(24G)。
- 微调：4 * A100(80G) [推荐] 或 8 * RTX 3090(24G)。

2.2 网页演示

我们还提供基于Gradio的本地网页演示。首先，通过运行 pip install gradio 安装Gradio。然后下载并进入此仓库，运行 web_demo.py。具体使用方式如下：

python web_demo.py --from_pretrained cogvlm-chat --version chat --english --bf16
python web_demo.py --from_pretrained cogvlm-grounding-generalist --version base --english --bf16

网页演示的 GUI 界面如下：

2.3 CLI

我们开源了不同下游任务的模型权重：

cogvlm-chat 用于对齐的模型，在此之后支持像 GPT-4V 一样的聊天。
cogvlm-base-224 文本-图像预训练后的原始权重。
cogvlm-base-490 从 cogvlm-base-224 微调得到的 490px 分辨率版本。
cogvlm-grounding-generalist 这个权重支持不同的视觉定位任务，例如 REC、Grounding Captioning 等。

通过CLI演示，执行以下命令：

python cli_demo.py --from_pretrained cogvlm-base-224 --version base --english --bf16 --no_prompt
python cli_demo.py --from_pretrained cogvlm-base-490 --version base --english --bf16 --no_prompt
python cli_demo.py --from_pretrained cogvlm-chat --version chat --english --bf16
python cli_demo.py --from_pretrained cogvlm-grounding-generalist --version base --english --bf16