VLM 系列——中文CLIP——论文解读

已于 2024-01-28 09:54:08 修改
阅读量706 收藏
点赞数
分类专栏： AIGC算法 文章标签： 人工智能 深度学习 AIGC transformer 计算机视觉
于 2024-01-23 20:19:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012863603/article/details/135785675
版权
本文深入解读了VLM系列中的中文CLIP模型，涵盖模型结构、训练策略、数据处理和实验结果。重点讨论了模型在多维度任务上的表现，包括检索性能、零样本分类和知识蒸馏等，并指出了未来研究中待解决的数据和模型问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、概述

1、是什么

    CLIP 的中文版《Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese》，训练使用2亿 图-文 对的对比学习（不是LLM的预测下一个token），是一个双塔模型（图像和文本各子拥有一个编码器）。由于对齐了图像和文本特征，可以用来做：图-图（文章中没有相关测试任务）、图-文、文-图、文-文（文章中没有相关测试任务）的检索，当然 图-文 和 文-图 检索 也可以转化为zero-shot 的分类。

2、亮点

    *开源代码、模型（多个版本模型：图像编码器提供5种，参数量77-958M）、demo，并且提供用于部署的NVIDIA TensorRT和ONNX模型，比用于推理的Pytorch模型快2到10倍。
    *消融实验后验证，两阶段训练更优：使用CLIP初始化，先训练文本编码器；再联合训练。
    *在MUGE
了解本专栏 订阅专栏 解锁全文
VLM 系列——CLIP——论文解读
TigerZ*的博客
01-22 746
是使用图文对（将图像表征与语言联系起来）使用对比学习（有的文章称为自监督，有的文章称为无监督）训练的多模态模型。从互联网上大量文本的监督（自然语言监督）中学习，要比传统的分类数据要大得多。可以用来图片zero-shot 分类（其实就是图-文检索，但是不同于以往的ImageNet预测一组固定的预定对象类别），文-图检索，图-图检索（文章没有提及，也没有测试）；还有后面的整个AIGC 都有他的影子，比如Stable diffusion 的图像编码器、BLIP系列的图像编码都是使用的CLIP系列的预训练权重。
VLM 系列——Monkey——论文解读
TigerZ*的博客
01-28 905
Monkey，是一个多模态的视觉-文本模型，当前版本（20231130）为基于Qwen-vl 的三阶段微调（增加了Lora+visual adapter 支持更高的分辨率）可以完成对一幅图片进行描述（强项，更细节）、相关事物（文本）进行问答（强项，尤其文本），但是这个版本只支持一个图片（为且必为首次输入），几乎不支持写代码（目前测试是的），图中物体或指定输出检测框仍然保留的能力，但是弱了。提出使用Lora 微调已有Qwen-vl 视觉编码器（有多个，看下文的模型结构），加visual adapter 将多个
多模态表征—CLIP及中文版Chinese-CLIP：理论讲解、代码微调与论文阅读
热门推荐
小小帅
02-26 1万+
1.讲解CLIP的主要内容；2.讲解Chinese-CLIP的主要内容；3.CLIP/Chinese-CLIP代码微调；4.CLIP/Chinese-CLIP论文重点阅读
Chinese-CLIP 项目使用教程
gitblog_00806的博客
08-08 718
Chinese-CLIP 项目使用教程 项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-CLIP 1. 项目的目录结构及介绍 Chinese-CLIP 项目的目录结构如下： Chinese-CLIP/ ├── configs/ │ ├── config1.yaml │ ├── config2.yaml │ └── ... ├── data/...
探索中文CLIP：开启中文图文处理的新纪元
gitblog_01075的博客
08-08 569
探索中文CLIP：开启中文图文处理的新纪元 项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-CLIP 在多模态学习的浪潮中，中文CLIP项目以其独特的优势和强大的功能，成为了中文领域图文处理的一颗璀璨明星。本文将深入介绍这一开源项目的各个方面，带您领略其技术魅力和应用潜力。 项目介绍 中文CLIP项目，作为CLIP模型的中文版本，通过大规模中文数据（约...
多粒度在研究中的应用
erdaidai的博客
01-03 602
多粒度的应用
Chinese-CLIP 使用教程
gitblog_00800的博客
08-08 1647
Chinese-CLIP 使用教程 项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-CLIP 项目介绍 Chinese-CLIP 是一个面向中文环境的对比式视觉语言预训练模型，由 Yang An 等人在其论文《Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese》中提出。该项目...
VLM 系列——Qwen2.5 VL——论文解读
TigerZ*的博客
03-25 125
整体模型架构由三个组件组成：视觉编码器、基于 MLP 的视觉-语言连接层、大型语言模型。引入了动态帧率（FPS）训练和绝对时间编码技术。这样一来，模型不仅能够支持小时级别的超长视频理解，还具备秒级的事件定位能力。
VLM 系列——Qwen2.5 VL——论文解读——前瞻（源码解读）
TigerZ*的博客
02-18 948
与 Qwen2-VL 相比，Qwen2.5-VL 增强了模型 对 空间尺度（动态原图输入&非归一化定位框）和 时间（动态fps和绝对实现编码）的感知能力，并进一步简化了网络结构（ViT 架构与LLMs一致，采用了RMSNorm、SwiGLU 结构，但是是全注意力+窗口注意力交替VIT）以提高模型效率。本文针对源码进行了相关细节的解读和一些注意点。
CLIP：连接文本-图像
银晗的学习博客
09-03 568
以图像维度为例简单说明一下这里的逻辑，因为在计算相似度的时候，图像特征矩阵@文本特征矩阵得到的 n x n 矩阵，第一个n 代表的图像，因此我们在axis=0 计算图像维度的loss。点积运算计算文本-图像的cosine similarity，得到 n x n 矩阵的logits（模型预测），越接近1则说明模型预测该文本-图像对是配对的，否则不配对。在训练过程中，模型学会了将图像和文本编码成统一的向量空间，这使得它能够在语言和视觉上理解它们之间的关系。通过图像&文本编码器，得分图像和文本特征。
TensorFlow实现中文字体分类
yeahDeDiQiZhang的博客
11-13 2015
1.预处理 首先在网上找一份常用汉字大全，我这里找了一份2994字的常用汉字作为训练，712字的次常用汉字作为测试。 操作系统内就自带字体文件，后缀为ttc和ttf，Mac的路径为 /System/Library/Fonts，选取若干个作为分类的对象。 接着用PIL库来生成字体图片，生成的时候本想每个字居中显示。但是当一个字体中的字居中了，另外字体的字就会跑偏，因此这里用numpy来框出字体
高压开关柜局部放电信号分析系统
m0_61057267的博客
04-28 1711
这个项目是我在2025年实现的高压开关柜局部放电信号分析系统，目的是通过采集分析局部放电信号，判断设备的工作状态和潜在故障。系统包含从信号模拟生成、特征提取、到深度学习模型训练的全流程，最终可自动生成分析报告。
CDP系统接入DeepSeek大模型应用场景方案
weixin_56222151的博客
04-28 875
本方案通过将CDP系统与DeepSeek大模型深度集成，构建智能化的客户数据洞察与交互平台。核心目标是通过大模型的自然语言处理、预测分析和生成能力，增强CDP在客户画像构建、行为预测、个性化推荐等场景的智能化水平。整体技术架构采用三层设计：数据层实现实时数据管道对接，模型层部署DeepSeek的API及微调接口，应用层支持业务系统调用。数据对接采用双通道机制，同时支持批量数据同步和实时事件流处理。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 3358
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
远光软件发布九天 AI 应用开发平台，加速企业研发效能跃升
YG_JT的博客
04-30 397
4月25日，远光软件在“2025珠海软件产业年会暨AI技术赋能行业发展交流会”上以虚拟直播方式发布了远光九天AI应用开发平台。
存算一体架构下的新型AI加速范式：从Samsung HBM-PIM看近内存计算趋势
最新发布
高效做AI，就上Aladdin! 同学们用得起的H卡算力平台。
05-01 1063
存算一体不是简单的技术改良，而是对计算本质的重新思考。当HBM-PIM将能效边界推向10 TFLOPS/W，我们正站在架构革命的临界点。这场变革的终极目标，是让计算回归数据本源——‌在比特诞生的地方处理比特‌。本文实验数据基于Samsung Aquabolt-XL HBM-PIM实测，更多技术细节请参考ISSCC 2023论文《A 1ynm 16Gb 4.8TFLOPS/W HBM-PIM with Bank-Level Programmable AI Engines》。
花费7元训练自己的GPT 2模型
04-28 1287
在上一篇博客中，我介绍了用Tensorflow来重现GPT 1的模型和训练的过程。这次我打算用Pytorch来重现GPT 2的模型并从头进行训练。GPT 2的模型相比GPT 1的改进并不多，主要在以下方面：1. GPT 2把layer normalization放在每个decoder block的前面。2. 最终的decoder block之后额外添加了一个layer normalization。3. 残差层的参数初始化根据网络深度进行调节。
【现代深度学习技术】循环神经网络07：通过时间反向传播
Morse_Chen的博客
04-28 1317
本文讲解循环神经网络的通过时间反向传播。RNN梯度分析及BPTT是理解其原理的关键，通过深入分析RNN的梯度计算过程，我们可以更好地理解梯度爆炸和梯度消失的问题，BPTT可有效训练RNN捕捉序列依赖。
操作系统级竞争开启：AI Agent 能否成为人形机器人爆发的奇点？
望获实时Linux系统
04-30 1000
本文深入探讨了在人形机器人产业从“机械执行”向“自主决策”跃迁的背景下，实时操作系统（RTOS）与AI Agent融合对突破物理世界响应极限的关键作用，重点分析了望获实时Linux等国产RTOS的技术优势及其在不同领域的应用前景，同时客观阐述了产业面临的挑战与机遇，旨在为相关领域的学术研究和产业发展提供参考与借鉴。
VLM论文
03-30
### 关于视觉语言模型 (VLM) 的研究论文 以下是几篇与视觉语言模型 (VLM) 相关的研究论文，涵盖了不同的应用场景和技术细节： #### 1. **MResT: Multi-Resolution Sensing for Real-Time Control with Vision-Language Models** 这篇论文探讨了如何通过多分辨率感知技术实时控制视觉语言模型的应用场景。文中提到的扩散策略学习（Diffusion Policy Learning）是一个重要的组成部分[^1]。这种技术能够帮助模型更好地理解复杂的环境并作出相应的决策。 #### 2. **Robot-Action Fine-tuning** 此部分讨论了基于视觉语言模型的动作微调过程。具体来说，文章提到了两种预训练的视觉语言模型——PaLI-X 和 PaLM-E，并将其扩展为 RT-2-PaLI-X 和 RT-2-PaLM-E 版本。这些模型被用来解决广泛的视觉解释和推理任务，例如推断图像组成以及回答关于对象间关系的问题[^2]。 #### 3. **Moonshot: A New Video Generation Model Handling Both Images and Text as Inputs** Moonshot 是一种新型视频生成模型，支持同时处理图像和文本输入。它的核心组件是多模态视频块（Multi-modal Video Block, MVB），其中包含了用于表示视频特性的时空层和专门设计来应对外观调节需求的分离交叉注意层。此外，该模型还具备与预先训练好的图像 ControlNet 集成的能力，从而实现几何视觉条件下的高效适配[^3]。 #### 4. **Stimulating the Diffusion Model for Image Denoising via Adaptive Embedding and Ensembling** 虽然主要关注点在于图像去噪领域内的扩散模型改进方案，但它同样涉及到了一些可用于增强视觉语言建模效果的技术手段。比如自适应嵌入和集成方法可以提升模型对于噪声数据的理解能力，进而间接促进 VLM 性能优化[^4]。 ```python # 示例代码展示如何加载一个简单的视觉语言模型框架 import torch from transformers import CLIPProcessor, CLIPModel model_name = "openai/clip-vit-base-patch32" processor = CLIPProcessor.from_pretrained(model_name) model = CLIPModel.from_pretrained(model_name) image_path = "./example_image.jpg" text_input = ["A photo of a cat", "A photo of a dog"] def process_and_predict(image_path, text_input): image = processor(images=image_path, return_tensors="pt")["pixel_values"] inputs = processor(text=text_input, images=None, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image probabilities = torch.nn.functional.softmax(logits_per_image, dim=-1).tolist()[0] result_dict = {t:p for t,p in zip(text_input,probabilities)} return sorted(result_dict.items(), key=lambda item:item[1], reverse=True) predictions = process_and_predict(image_path, text_input) print(predictions) ``` 上述代码片段展示了如何使用 HuggingFace 提供的 `transformers` 库中的 CLIP 模型来进行基本的图文匹配预测操作。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TigerZ*

你点滴支持，我持续创作，羞羞

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值