VLM 系列——中文CLIP——论文解读

已于 2024-01-28 09:54:08 修改
阅读量452 收藏
点赞数
分类专栏： AIGC算法 文章标签： 人工智能 深度学习 AIGC transformer 计算机视觉
于 2024-01-23 20:19:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012863603/article/details/135785675
版权
AIGC算法 专栏收录该内容
37 篇文章 17 订阅 ¥89.90 ¥99.00
订阅专栏
本文深入解读了VLM系列中的中文CLIP模型，涵盖模型结构、训练策略、数据处理和实验结果。重点讨论了模型在多维度任务上的表现，包括检索性能、零样本分类和知识蒸馏等，并指出了未来研究中待解决的数据和模型问题。
摘要由CSDN通过智能技术生成

一、概述

1、是什么

    CLIP 的中文版《Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese》，训练使用2亿 图-文 对的对比学习（不是LLM的预测下一个token），是一个双塔模型（图像和文本各子拥有一个编码器）。由于对齐了图像和文本特征，可以用来做：图-图（文章中没有相关测试任务）、图-文、文-图、文-文（文章中没有相关测试任务）的检索，当然 图-文 和 文-图 检索 也可以转化为zero-shot 的分类。

2、亮点

    *开源代码、模型（多个版本模型：图像编码器提供5种，参数量77-958M）、demo，并且提供用于部署的NVIDIA TensorRT和ONNX模型，比用于推理的Pytorch模型快2到10倍。
    *消融实验后验证，两阶段训练更优：使用CLIP初始化，先训练文本编码器；再联合训练。
    *在MUGE
了解本专栏 订阅专栏 解锁全文
TigerZ*
关注
专栏目录
订阅专栏
VLM 系列——CLIP——论文解读
TigerZ*的博客
01-22 517
是使用图文对（将图像表征与语言联系起来）使用对比学习（有的文章称为自监督，有的文章称为无监督）训练的多模态模型。从互联网上大量文本的监督（自然语言监督）中学习，要比传统的分类数据要大得多。可以用来图片zero-shot 分类（其实就是图-文检索，但是不同于以往的ImageNet预测一组固定的预定对象类别），文-图检索，图-图检索（文章没有提及，也没有测试）；还有后面的整个AIGC 都有他的影子，比如Stable diffusion 的图像编码器、BLIP系列的图像编码都是使用的CLIP系列的预训练权重。
VLM 系列——Monkey——论文解读
TigerZ*的博客
01-28 765
Monkey，是一个多模态的视觉-文本模型，当前版本（20231130）为基于Qwen-vl 的三阶段微调（增加了Lora+visual adapter 支持更高的分辨率）可以完成对一幅图片进行描述（强项，更细节）、相关事物（文本）进行问答（强项，尤其文本），但是这个版本只支持一个图片（为且必为首次输入），几乎不支持写代码（目前测试是的），图中物体或指定输出检测框仍然保留的能力，但是弱了。提出使用Lora 微调已有Qwen-vl 视觉编码器（有多个，看下文的模型结构），加visual adapter 将多个
【多模态】4、Chinese CLIP | 专为中文图文匹配设计
呆呆的猫的博客
05-20 7632
本文主要介绍 Chinese CLIP
Chinese-CLIP 项目使用教程
gitblog_00806的博客
08-08 609
Chinese-CLIP 项目使用教程 项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-CLIP 1. 项目的目录结构及介绍 Chinese-CLIP 项目的目录结构如下： Chinese-CLIP/ ├── configs/ │ ├── config1.yaml │ ├── config2.yaml │ └── ... ├── data/...
Chinese-CLIP 使用教程
gitblog_00800的博客
08-08 1278
Chinese-CLIP 使用教程 项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-CLIP 项目介绍 Chinese-CLIP 是一个面向中文环境的对比式视觉语言预训练模型，由 Yang An 等人在其论文《Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese》中提出。该项目...
VLM 系列——phi3.5-Vision——论文解读
TigerZ*的博客
08-29 461
是一系列大型语言模型（LLM） & 多模态大型语言模型（MLLM）。其中LLM包括phi-3-mini 3.8B、phi-3-small 7B、phi-3-medium 14B，phi-3-mini可以轻松地在现代手机上本地进行推理；多模态模型包括phi-3-vision（基于phi-3-mini & CLIP ViT-L/14） 4.2B。本文重点介绍多模态的phi-3-mini模型，该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、高清
VLM 系列——LLaVA-MoLE——论文解读
TigerZ*的博客
02-06 710
整体基于Llava1.5，主要变化在于LLM增加了moe+lora模块，进行了两阶段训练（冻结图像编码器、投射层、文本编码器，只训练Lora和moe）。具体结构包含：基于CLIP的视觉编码器，文本解码器（attention层添加Lora，FFN层添加Lora版的MOE），使用最简单的两层FC构成MLP映射视觉特征到文本长度。
VLM 系列——MoE-LLaVa——论文解读
TigerZ*的博客
02-05 696
一、概述一、概述1、是什么moe-Llava 是Llava1.5 的改进 全称《MoE-LLaVA: Mixture of Experts for Large Vision-Language Models》，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答，潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述），未知是否能偶根据图片写代码（HTML、JS、CSS）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。
深度学习之循环神经网络(RNN)
weixin_43775295的博客
11-12 296
其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。​ 由于RNN特有的memory会影响后期其他的RNN的特点，梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss会震荡起伏，为了解决RNN的这个问题，在训练的时候，可以设置临界值，当梯度大于某个临界值，直接截断，用这个临界值作为梯度的大小，防止大幅震荡。中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。
AI 大模型如何重塑软件开发流程与模式
lssffy的博客
11-12 246
在传统的软件开发流程中，开发者从需求分析开始，到架构设计、编码、测试、部署和维护，整个过程往往需要花费大量的时间与人力。开发者需要从零开始编写代码，并通过反复的调试和测试来确保代码质量。这种方式虽然严谨，但效率相对较低，并且容易出现人为错误。而 AI 大模型的加入为软件开发带来了革命性的变化。代码生成工具如 GitHub Copilot 等，能够根据开发者的自然语言提示自动生成代码，甚至能够理解上下文，从而大幅减少重复劳动。智能调试和测试工具可以快速发现潜在的错误，给出修复建议。
PCA（主成分分析）算法的应用场景
huanfeng_AI的博客
11-09 392
需要注意的是，PCA并不适用于所有场景。例如，当数据之间存在非线性关系时，PCA可能无法完全揭示数据的内在结构。此外，PCA对初始变量的顺序和标签敏感，不同的变量顺序可能导致不同的主成分结果。因此，在选择数据分析方法时，需要根据具体的数据和任务需求来决定是否使用PCA。
探索App Intents：让你的应用与Siri无缝互动的新方式
jixn的博客
11-09 2932
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
【Node-Red】使用文件或相机拍摄实现图像识别
weixin_43195420的博客
11-12 541
使用文件或相机拍照实现图像识别
深度学习笔记13-卷积神经网络1
最新发布
weixin_51828505的博客
11-12 648
卷积神经网络（CNN），它是由多个卷积层、池化层和全连接层构成的前馈神经网络。在卷积神经网络中，包含了可训练的卷积核，这使得卷积神经网络具有强大的表征学习能力。卷积神经网络通过卷积层和池化层进行特征提取，通过全连接层和输出层进行分类。因此卷积神经网络是一种端到端的机器学习模型。
人工智能是这样理解“情绪”的
JellyAI的博客
11-12 555
在前面的内容中，我们经常提到“特征”，那么如何表示特征呢？举个例子，在日常生活中，我们描述一个快递包装盒时可能会提到它的高度、宽度和深度（这三个值就是盒子的特征，当然也可以用颜色、重量、材料等来描述）。当我们仅用高度、宽度和深度三个数据来描述盒子的特征时，我们就说这个盒子的特征是三维的。如果再加上颜色、重量和材料等特征，那么这个特征空间就是六维的了。
Yolo11实战改进：一文读懂Yolo11到实战。
m0_47867638的博客
11-09 826
YOLO11是Ultralytics YOLO系列实时目标检测器的最新迭代版本，它以尖端的精度、速度和效率重新定义了可能性。在之前YOLO版本令人瞩目的进步基础上，YOLO11在架构和训练方法上引入了重大改进，使其成为各种计算机视觉任务的通用选择。关键特性：YOLO11采用改进的主干网络和颈部架构，提高了特征提取能力，以实现更精确的目标检测和更复杂的任务性能。YOLO11引入了精细的架构设计和优化的训练流程，提供了更快的处理速度，并在准确性和性能之间保持了最佳平衡。
0-Equity-Transformer：求解NP-Hard Min-Max路由问题的顺序生成算法（AAAI-24)(完)（code）
太极生两鱼
11-12 31
最小最大路由问题旨在通过智能体合作完成任务来最小化多个智能体中最长行程的长度。这些问题包括对现实世界有重大影响的应用场景，但已知属于NP-hard问题。现有方法在大规模问题上面临挑战，尤其是在需要协调大量智能体以覆盖数千个城市的情况下。本文提出了Equity-Transformer来解决大规模最小最大路由问题。首先，我们采用顺序规划方法来处理最小最大路由问题，使我们能够利用强大的序列生成器（例如，Transformer）。其次，我们提出了关键的归纳偏差，以确保智能体之间的公平工作量分配。
大模型微调的核心技术与前沿发展
hello.reader
11-12 767
大模型（Large Model）指的是参数量极大的深度学习模型，通常具备更强的特征提取能力和泛化能力。随着计算资源和数据量的提升，研究者通过增加模型参数和层数，不断提升模型在多种任务上的表现。大模型的诞生和快速发展源于对人工智能通用能力的追求，典型的例子包括自然语言处理中的GPT-3、BERT和计算机视觉中的Vision Transformer（ViT）等。大模型可以通过自监督学习、大规模预训练等技术，在无监督数据上学习丰富的特征表示，为下游任务提供高质量的初始参数，减少对标注数据的依赖。
深度学习入门指南：从基础概念到实战应用
liaozp88的博客
11-12 345
深度学习是人工智能和机器学习的一个分支，通过模仿人类大脑的神经网络来进行数据分析和预测。它在图像识别、自然语言处理、自动驾驶等领域有着广泛应用。
目前最新的CLIP数据集是哪个？
07-16
截至我回答这个问题的时候（2022年6月），最新的CLIP数据集是OpenAI发布的Conceptual Capt。这个数据集是一个大规模的图像描述数据集，包含了超过300万张图像和超过3000万条与图像相关的文本描述。 Conceptual Captions数据集的图像是从Flickr网站上获取的，并且覆盖了广泛的主题和场景。每个图像都有多个与之相关联的文本描述，这些描述是通过众包方式从互联网收集得到的。 OpenAI使用Conceptual Captions数据集来训练CLIP模型，并取得了非常好的效果。这个数据集的引入使得CLIP能够更好地理解图像和文本之间的关系，并在多种视觉和语言任务上展现出强大的性能。 需要注意的是，随着时间的推移，可能会有新的数据集用于改进和扩展CLIP模型的训练。因此，我建议在查找最新信息时参考OpenAI官方发布的最新消息和文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TigerZ*

你点滴支持，我持续创作，羞羞

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值