- 博客(111)
- 资源 (7)
- 收藏
- 关注
原创 VLM 系列——InternVL 1.5——论文解读
InternVL 1.5 是一个多模态大模型,主要还是图文问答等,不能完成图像生成、语音输入输出。也是标准的两阶段训练。论文称,InternVL 1.5 在四个特定基准测试中超越了 Grok-1.5V、GPT-4V、Claude-3 Opus 和 Gemini Pro 1.5 等领先的闭源模型,特别是在与 OCR 相关的数据集。主要贡献有三点;更强视觉编码器、支持动态高分辨率、高质量的双语数据集。
2024-05-17 10:04:24 34
原创 VM 系列——SEED-X——论文解读
seed-x 不同于之前的图像文本大模型,主要面向图像问答理解。通过动态分辨率图像编码来处理任意尺寸和宽高比的图像,其作为一个统一的多模态基础模型,通过不同的指令调整,可以在现实世界中作为各种多模态 AI 助手使用,支持图像理解、生成、编辑(在指定图像通过文本指令改变图像内容)和检测等功能。但是一定要注意文章提到,当前不同的功能是不同的独立子模型实现的。
2024-05-13 20:02:56 102
原创 目标检测算法——YOLO-Word——算法详解
本文主要介绍YOLO-word 算法,从思路和数据角度去梳理输出文章的创新点,整体而言CLIP 文本embedding的引入以及大规模数据的加入,赋予了模型识别开集其余类目的能力。
2024-04-19 20:14:17 381
原创 目标检测算法——YOLOV9——算法详解
本文主要介绍了YOLOV9 算法的原理,并结合官方git 源码和其他人员的一些issue,更深层的尝试去探讨论文具体实现时的一些疑问。
2024-04-16 19:45:36 1766 6
原创 模型量化——NVIDIA——方案选择(PTQ、 partialPTQ、 QAT)
本文主要介绍NVIDIA 模型量化方案的选型思路(主要有三种:PTQ、 partialPTQ、 QAT)。并且对其中涉及的知识点进行了提炼总结。
2024-04-09 19:51:03 141 1
原创 大模型知识点汇总——分布式训练
本篇在宏观上介绍AIGC、LLM 训练过程中的模型加速相关概念和技术,不做数学推导和过于细节介绍,旨在快速有一个宏观认知,不拘泥在细节上。涉及:混合精度训练、数据并行、张量并行、流水线并行、模型并行、3D并行、混合并行、ZeRO 1、ZeRO 2、ZeRO 3、ZeRO-offload、Megatron、DeepSpeed、PFlash Attention、nvlink、nvswitch、Infiniband。
2024-03-25 19:54:33 412
原创 大模型知识点汇总——模型基础知识
本文主要介绍LLM面试中的模型方面的基础知识点,并且每个知识点做成了一级目录的形式,便于查阅,有任何建议和意见实时修改更新。
2024-03-18 19:54:25 212
原创 VM 系列——AIM——论文解读
是一个纯视觉的预训练模型(没有使用任何的文本标签),仿照LLM GPT的训练思路(解码器,但是是前缀自注意力),将一幅图像分块预测图像的下一块(像素值)。主要作为预训练权重,可以用于图像分类、检索等下游任务。在20亿张图像上预训练70亿参数在ImageNet 1k上使用冻结的主干实现了84.0%精度。发现并验证了和LLM相似的两个性质:(1)视觉特征的性能与模型容量和数据量成正比,(2)目标函数的值与模型在下游任务上的性能相关。
2024-03-05 11:45:25 106 3
原创 LLM 系列——BERT——论文解读
BERT是单模态“小”语言模型,是一个“Bidirectional Encoder Representations fromTransformers”的缩写,是一个语言预训练模型,通过随机掩盖一些词,然后预测这些被遮盖的词来训练双向语言模型(编码器结构)。可以用于句子分类、词性分类等下游任务,本身旨在提供一个预训练的基础权重。
2024-02-28 20:17:25 496 1
原创 VLM 系列——LLaVA-MoLE——论文解读
整体基于Llava1.5,主要变化在于LLM增加了moe+lora模块,进行了两阶段训练(冻结图像编码器、投射层、文本编码器,只训练Lora和moe)。具体结构包含:基于CLIP的视觉编码器,文本解码器(attention层添加Lora,FFN层添加Lora版的MOE),使用最简单的两层FC构成MLP映射视觉特征到文本长度。
2024-02-06 18:23:27 516
原创 VLM 系列——MoE-LLaVa——论文解读
一、概述一、概述1、是什么moe-Llava 是Llava1.5 的改进 全称《MoE-LLaVA: Mixture of Experts for Large Vision-Language Models》,是一个多模态视觉-文本大语言模型,可以完成:图像描述、视觉问答,潜在可以完成单个目标的视觉定位、名画名人等识别(问答、描述),未知是否能偶根据图片写代码(HTML、JS、CSS)。支持单幅图片输入(可以作为第一个或第二个输入),多轮文本对话。
2024-02-05 19:56:27 368
原创 VLM 系列——Llava1.6——论文解读
Llava1.6基于CLIP的视觉编码器,以及多个版本语言解码器,使用最简单的两层FC构成MLP映射视觉特征到文本长度,构建了一个大规模的多模态模型,并且将该模型在指令视觉-语言数据上进行了微调。最大的区别是仿照monkey这篇论文也将图片分割成几个部分然后拼接送入LLM,不同是他们有使用query这种降维方式。
2024-02-05 19:39:04 621
原创 VLM (MLLM)系列——论文解读总结
从数据、模型、训练三个角度概述VLM也就是MLLM模型的内容,该综述能够快速对比论文的创新点等,非常适合初学者、学生、在职人员。
2024-02-05 19:33:49 170
原创 VLM 系列——Qwen-VL 千问—— 论文解读
Qwen-VL表示多任务训练后的模型,Qwen-VL-chat是基于Qwen-VL的指令调优(第三阶段SFT——监督微调)后的视觉语言聊天机器人。
2024-01-28 16:25:12 1495
原创 VLM 系列——Llava1.5——论文解读
Llava1.5 ,是一个多模态视觉-文本大语言模型,可以完成:图像描述、视觉问答、根据图片写代码,潜在可以完成单个目标的视觉定位、名画名人等识别(问答、描述)。支持单幅图片输入(可以作为第一个或第二个输入),多轮文本对话。本文基于CLIP的视觉编码器,以及LLaMa语言解码器,使用最简单的两层FC构成MLP(llava是一层)映射视觉特征到文本长度,构建了一个大规模的多模态模型,并且将该模型在指令视觉-语言数据上进行了微调(数据集更丰富),并且通过增加特定指令来解决简单回答指令的跟随性。
2024-01-28 15:53:13 380
原创 VLM 系列——Llava——论文解读
Llava 全称《Visual Instruction Tuning》,是一个多模态视觉-文本大语言模型,可以完成:图像描述、视觉问答、根据图片写代码(HTML、JS、CSS),潜在可以完成单个目标的视觉定位、名画名人等识别(问答、描述)。支持单幅图片输入(可以作为第一个或第二个输入),多轮文本对话。 本文基于CLIP的视觉编码器,以及LLaMa语言解码器,构建了一个大规模的多模态模型(使用最简单的单层FC映射视觉特征到文本长度),并且将该模型在指令视觉-语言数据上进行了微调。
2024-01-28 15:35:51 514
原创 VLM 系列——Monkey——论文解读
Monkey,是一个多模态的视觉-文本模型,当前版本(20231130)为基于Qwen-vl 的三阶段微调(增加了Lora+visual adapter 支持更高的分辨率)可以完成对一幅图片进行描述(强项,更细节)、相关事物(文本)进行问答(强项,尤其文本),但是这个版本只支持一个图片(为且必为首次输入),几乎不支持写代码(目前测试是的),图中物体或指定输出检测框仍然保留的能力,但是弱了。提出使用Lora 微调已有Qwen-vl 视觉编码器(有多个,看下文的模型结构),加visual adapter 将多个
2024-01-28 15:09:58 513
原创 VLM 系列——BLIP——论文解读
BLIP是一个多模态视觉-文本大语言模型,隶属BLIP系列第一篇,可以完成:图像描述、视觉问答、图像检索。由于没有接入LLM,所以虽然可以做生成任务,但是没有很强的对话能力以及世界知识。主要是模型和数据两方面创新:模型方面:把模型设计成了一个unified 框架,可以同时满足:图文检索和图像描述任务。主要有三部分构成:视觉编码器、文本编码器和多模态编码器。数据方面:提出了一个Captioner和Filter 模块,Captioner对一张图生成描述(也就是图文对的文)、filter过滤噪声图文对。用这种数据
2024-01-28 09:52:46 119
原创 VLM 系列——COGVLM—— 论文解读
COGVLM是一个多模态的视觉-文本模型,当前CogVLM-17B(20231130)可以完成对一幅图片进行描述、图中物体或指定输出检测框、相关事物进行问答,但是这个版本只支持一个图片(为且必为首次输入),只支持英文,几乎不支持写代码(目前测试是的)。模型分四个部分:视觉编码器、MLP适应层(对齐视觉和文本特征)、文本解码器、视觉专家模块。在不损害NLP模型原本能力的情况下,通过“视觉专家”模块 + 两层的MLP adapter 替代浅层的对齐大幅提升了模型的图片描述、视觉问答和视觉定位能力。
2024-01-25 20:21:49 619
原创 VLM 系列——BLIP2——论文解读
BLIP2是一个多模态视觉-文本大语言模型,隶属BLIP系列第二篇,可以完成:图像描述、视觉问答、名画名人等识别(问答、描述)。支持单幅图片输入(作为第一个输入),多轮文本对话。使用冻结的图像编码器、LLM外加一个Q-former,分两阶段来pre-train模型,例图解决训练成本高和模型灾难遗忘的问题。在多个数据集上的zero-shot 和finetune取得很好的效果。
2024-01-25 19:54:19 317
原创 VLM 系列——中文CLIP——论文解读
CLIP 的中文版,训练使用2亿 图-文 对的分两阶段训练的对比学习(不是LLM的预测下一个token),是一个双塔模型(图像和文本各子拥有一个编码器)。由于对齐了图像和文本特征,可以用来做:图-图(文章中没有相关测试任务)、图-文、文-图、文-文(文章中没有相关测试任务)的检索,当然 图-文 和 文-图 检索 也可以转化为zero-shot 的分类。
2024-01-23 20:19:10 221
原创 VLM 系列——CLIP——论文解读
是使用图文对(将图像表征与语言联系起来)使用对比学习(有的文章称为自监督,有的文章称为无监督)训练的多模态模型。从互联网上大量文本的监督(自然语言监督)中学习,要比传统的分类数据要大得多。可以用来图片zero-shot 分类(其实就是图-文检索,但是不同于以往的ImageNet预测一组固定的预定对象类别),文-图检索,图-图检索(文章没有提及,也没有测试);还有后面的整个AIGC 都有他的影子,比如Stable diffusion 的图像编码器、BLIP系列的图像编码都是使用的CLIP系列的预训练权重。
2024-01-22 20:09:42 279
原创 VLM 系列——Instruct BLIP——论文解读
本文主要介绍Instruct BLIP,是一个多模态视觉-文本大语言模型,隶属BLIP系列第三篇,可以完成:图像描述、视觉问答、名画名人等识别(问答、描述)。支持单幅图片输入(作为第一个输入),多轮文本对话。(不支持图文交错输入、写代码、视觉定位、JSON mode等。)构造一个指令数据集,整体架构沿用BLIP2,在Q-former中多加入了文本prompt token来和图片进行交互。只训练q-former,在多个数据集上的zero-shot获得sota.
2024-01-22 19:53:07 267
原创 VLM 系列——Object Recognition as Next Token Prediction——论文解读
本文主要介绍《Object Recognition as Next Token Prediction》:结合了CLIP 的视觉编码器+语言模型Llama 的部分参数,将常见的图片描述任务转变为只输出属性,换言之将图片分类转变为预测下一个文本输出token。这样就能够生成图片的top K属性(英文),用于开放域的图片Tag 场景。
2024-01-08 19:55:03 1099
原创 AIGC(MLLM、VLM、LLM、SD)系列——论文解读目录
AIGC(MLLM、VLM、LLM、SD)系列,论文解读目录。快速找到你想要的论文。
2024-01-08 19:46:45 1125 2
原创 AIGC系列——论文解读模板
这里主要介绍AIGC系列的行文结构,方便快速判断内容分布,合适大佬、客官们订阅AIGC专栏,节省大把时间,快速定位需要的部分,适合学生、入门AIGC和作为笔记检索使用。
2024-01-08 19:32:29 452
原创 VLM 系列——RAM++(recognize anything++)—— 论文详解
本文详细介绍了RAM++ 《Open-Set Image Tagging with Multi-Grained Text Supervision》涉及到的模型结构、数据清洗、训练细节以及对应的消融实验。
2023-11-27 18:42:11 965
原创 OpenAI 开发者大会2023 解读
本文主要介绍OpenAI 2023 开发者大会 的新技术,涉及GPT-4的升级点,GPTs的使用方法,相关工具如代码解释器、检索、函数调用的解读。
2023-11-16 18:16:20 545
原创 VLM 系列——RAM(recognize anything)—— 项目使用——调整阈值(获得置信度)
原始代码并不会输出得分,而是根据各个属性的阈值判别大于阈值(不同的子类不同)的为命中,输出对应的属性。本文详细介绍如何输出得分,并做可视化分析。
2023-11-07 14:52:27 307
原创 文生图——DALL-E 3 —论文解读——第一版
本文主要是DALL·E 3官方第一版技术报告(论文)的解读。 一句话省流版,数据方面,训练时使用95%模型(CoCa)合成详细描述caption + 5%原本人类 caption,测试时使用GPT-4v 扩写人类caption;模型方面使用T5xxl + vae encoder + diffusion latent + 自家decoder 取得最好效果。
2023-10-25 10:08:08 1555
原创 VLM 系列——RAM(recognize anything)—— 论文详解
详细介绍了RAM(recognize anything)的模型结构、数据集构成方式、数据清洗方式,以及创新点和使用方法。
2023-10-23 14:20:44 735
原创 TRT8系列—— 版本差异注意事项
TRT8 一个大版本,8.4-、 8.5、 8.6(包含预览功能)却有很多变动,主要涉及输入输出的绑定binding接口、dynamic shape性能调优、dynamic shape 和context的绑定。
2023-08-17 17:21:30 849
原创 目标检测算法——YOLOV8——算法详解
本文梳理Yolo v8 的改进点,并针对一些较难理解的点进行重点阐述,主要有如下几方面:backbone 使用C2f模块,检测头使用了anchor-free + Decoupled-head,损失函数使用了分类BCE、回归CIOU + VFL(新增项目)的组合,框匹配策略由静态匹配改为了Task-Aligned Assigner匹配方式、最后 10 个 epoch 关闭 Mosaic 的操作、训练总 epoch 数从 300 提升到了 500。
2023-01-31 19:15:00 64913 43
原创 YOLOV8——快速训练指南(上手教程、自定义数据训练)
本篇主要用于说明如何使用自己的训练数据,快速在YOLOV8 框架上进行训练。当前(20230116)官方文档和网上的资源主要都是在开源的数据集上进行测试,对于算法“小白”或者“老鸟”如何快速应用到自己的项目中,这个单纯看官方文档显得有点凌乱,因为YOLOV8 不再致力于做一个单纯算法,而是想要做一个一统(分类、检测、分割且多种模型)的框架。本文以检测为例。
2023-01-16 22:45:00 43540 28
原创 cv-cuda (cvcuda、nvcv)教程——Python安装
由于当前版本安装后,大家反应import nvcv cvcuda 失败,看官方文档,当前还不是很规范,特此记录当前版本的安装方法。
2023-01-11 17:07:42 3417 8
转载 YOLOv8 抢先解读
同一团队出品,YOLOv8和YOLOv5改进方向:Backbone、PAN-FPN、Decoupled-Head、Anchor-Free、损失函数、样本匹配。
2023-01-10 15:08:52 1659 2
原创 TRT8系列—— pytorch 模型转 onnx
详细介绍 Torch 模型如何导出 onnx ,并且提供完整的代码支持如下几个特性:动态batch、单输入、多(两)输出 。同时罗列其中的注意事项。这是后续TRT等加速的基础步骤。
2022-10-12 17:06:04 1030
目标检测 机器学习方法 静态场景 测试车辆检测
2017-02-14
高斯混合模型背景建模
2017-02-14
基于均值漂移法的目标跟踪
2017-02-14
模板匹配技术
2017-02-14
利用聚类技术实现纹理图像分割
2015-12-23
利用基于直方图的自适应阈值方法实现分割前景与背景
2015-12-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人