继万物分割SAM之后，万物识别模型RAM来了！

最新推荐文章于 2024-03-04 21:10:55 发布
最新推荐文章于 2024-03-04 21:10:55 发布
阅读量1.6k 收藏 3
点赞数
分类专栏： 扩散模型与GAN生成对抗网络 文章标签： 人工智能 深度学习 机器学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lgzlgz3102/article/details/131118622
版权

Recognize Anything: A Strong Image Tagging Model

5909904254936451c0467565beac0411.png

提出“识别万物模型”（Recognize Anything Model，RAM），用于图像打标签。RAM 可以高精度地识别任何常见类别。RAM 引入了图像打标签的一个新范式，利用大规模的图像-文本对进行训练，而不是手动标注。

开发 RAM 分为四个步骤。首先，通过自动文本语义解析获得图像标签。随后，通过统一文本描述和打标任务进行监督训练，以原始文本和解析标签为监督来自动标注一个初步模型。第三步，使用数据引擎生成附加标注，并清除不正确的标签。最后，使用处理后的数据重新训练模型，使用较小但更高质量的数据集进行微调。

在许多基准测试上评估了 RAM 的打标能力，并观察到令人印象深刻的零样本性能，优于 CLIP 和 BLIP。值得注意的是，RAM 甚至超过了全监督的方式，并展现出与 Google API 竞争的性能。

代码：https://recognize-anything.github.io/ 

09feb54a82fe588fcc6f15f6e764dce9.png

关注公众号【机器学习与AI生成创作】，更多精彩等你来读：

深入浅出stable diffusion：AI作画技术背后的潜在扩散模型论文解读

深入浅出ControlNet，一种可控生成的AIGC绘画生成算法！ 

经典GAN不得不读：StyleGAN

3adea0c7b302c4cb42c38f3a5444d673.png 戳我，查看GAN的系列专辑~！

一顿午饭外卖，成为CV视觉的前沿弄潮儿！

最新最全100篇汇总！生成扩散模型Diffusion Models

ECCV2022 | 生成对抗网络GAN部分论文汇总

CVPR 2022 | 25+方向、最新50篇GAN论文

 ICCV 2021 | 35个主题GAN论文汇总

超110篇！CVPR 2021最全GAN论文梳理

超100篇！CVPR 2020最全GAN论文梳理

拆解组新的GAN：解耦表征MixNMatch

StarGAN第2版：多域多样性图像生成

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 |《计算机视觉中的数学方法》分享

《基于深度学习的表面缺陷检测方法综述》

《零样本图像分类综述: 十年进展》

《基于深度神经网络的少样本学习综述》

《礼记·学记》有云：独学而无友，则孤陋而寡闻

点击 一顿午饭外卖，成为CV视觉的前沿弄潮儿！，领取优惠券，加入 AI生成创作与计算机视觉 知识星球！

机器学习与AI生成创作
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
VLM 系列——RAM（recognize anything）—— 项目使用——调整阈值（获得置信度）
TigerZ*的博客
11-07 288
原始代码并不会输出得分，而是根据各个属性的阈值判别大于阈值（不同的子类不同）的为命中，输出对应的属性。本文详细介绍如何输出得分，并做可视化分析。
VLM 系列——RAM（recognize anything）—— 论文详解
TigerZ*的博客
10-23 670
详细介绍了RAM（recognize anything）的模型结构、数据集构成方式、数据清洗方式，以及创新点和使用方法。
Grounding DINO、TAG2TEXT、RAM、RAM++论文解读
weixin_38252409的博客
12-09 702
随着SAM模型分割一切大火之后，又有RAM模型识别一切，RAM模型由来可有三篇模型构成，TAG2TEXT为首篇将tag引入VL模型中，由tagging、generation、alignment分支构成，随后才是RAM模型，主要借助CLIP模型辅助与annotation处理trick，由tagging、generation分支构成，最后才是RAM++模型，该模型引入semantic concepts到图像tagging训练框架，RAM++模型能够利用图像-标签-文本三者之间的关系，整合image-text a
Recognize Anything:一个强大的图像标记模型
deephub
09-15 3231
Recognize Anything是一种新的图像标记基础模型，与传统模型不同，它不依赖于手动注释进行训练;相反，它利用大规模的图像-文本对。RAM在多个基准测试中表现出令人印象深刻的零样本性能，并且优于CLIP和BLIP。它的性能甚至超过了完全监督的方法。
识别一切（Tag2Text/RAM/RAM++）之RAM++论文详细阅读：Open-Set Image Tagging with Multi-Grained Text Supervision
小小帅
02-17 1014
在本文中，我们介绍了 Recognize Anything Plus Model（RAM++），这是一种有效利用多粒度文本监督的开放式图像标记模型。
万物识别RAM：高精度地识别任何常见类别，Zero-Shot能力超越有监督方式
梦坠凡尘
07-10 492
一个强大的图像标记基础模型。RAM为计算机视觉中的大型模型迈出了实质性的一步，展示了zero-shot能力，可以高精度地识别任何常见类别。RAM为图像标记引入了一种新的范例，利用大规模的图像文本对进行训练，而不是手动标注。RAM的发展包括四个关键步骤。（1）首先，通过文本语义自动解析，大规模获取无标注的图像标签;（2）随后，通过统一标题和标注任务，分别由原始文本和解析标签监督，训练一个初步的自动标注模型。（3）其次，利用数据引擎生成额外的注释并清除不正确的注释。
RAM - 识别一切，强大的图像标记模型
Edvard的专栏
06-28 1387
识别一切，强大的图像标记模型
识别一切模型RAM（Recognize Anything Model）及其前身 Tag2Text 论文解读
qq_40491305的博客
06-14 1895
因为RAM在分类、检测、分割等数据集都有覆盖，同时也有seen数据（训练数据中有的）和unseen数据（训练中没有的）的识别能力，所以作者做了一个图，体现不同识别方法的识别范围（Recognition Scope），RAM-unseen是红色，因为RAM有开集识别能力，所以是最大的。另外作者还用CLIP的Image Encoder对SAM的图片feature进行蒸馏（因为CLIP的image和text特征是对齐的），这样SAM模型在没见过的类别也会有更好的特征生成。
Recognize Anything: A Strong Image Tagging Model
价值知识传播者
03-04 408
展示了零样本学习的能力，以高准确度识别任何常见类别。RAM引入了一种新的图像标注范式，利用大规模的图像文本对进行训练，而不是手动注释。随后，通过统一字幕和标注任务，由原始文本和解析标签分别进行监督，训练初步模型以实现自动注释。最后，使用处理后的数据对模型进行重新训练，并使用较小但更高质量的数据集进行微调。我们在许多基准测试中评估了RAM的标注能力，并观察到令人印象深刻的零样本性能，明显优于CLIP和BLIP。值得注意的是，RAM甚至超越了完全监督的方式，并展现出与Google标注API相竞争的性能。
随机存取和顺序存取
m0_52226803的博客
12-25 1041
类似数组和链表，要去数组中找，直接给出下标可拿到，链表必须从头到尾捋一遍。 随机存取存储器（RAM）是存储器中最为人熟知的一种。之所以RAM被称为“随机存储”，是因为可以直接访问任一个存储单元，只要知道该单元所在记忆行X和记忆列Y的地址即可定位。 与RAM形成鲜明对比的是顺序存取存储器（SAM）。SAM中的数据存储单元按照线性顺序排列，因而只能依顺序访问（类似于盒式录音带）。如果当前位置不能找到所需数据，就必须依次查找下一个存储单元，直至找到所需数据为止。SAM非常适合作缓冲存储器之用，一般情况下，
【模型解析和使用教程】2023新论文：RAM++多模态图片识别，Recognize Anything Model Plus 模型解析和使用
weixin_44483403的博客
01-15 1223
小结：有中文标签，但是生成结果会包括一些抽象概念（beat，swing），而且似乎会对同一物体打上不同标签（可以自己用一些图片试一下），可能会一些下游应用（比如给出物体位置信息）造成干扰。→ grain是颗粒的意思，multi-grained 可以理解成不一样大小颗粒的信息，文中指 tag supervision 和 text supervision。→ 一些机器学习方法只能学习到固定的标签信息（Pre-defined labels)，Open-set指的是的没有预先定义的标签。
face-recognize-matlab.zip
08-17
face_recognize-matlab
基于SAM模型的交互式图像分割程序
08-10
基于meta开源的SAM模型，实现读取一张图片，弹出窗口，通过鼠标点选提示点，进行目标区域分割，计算目标的像素面积，并显示在图像上。
LoRA和SAM模型进行图像分割演示案例代码
08-10
这段代码演示了如何使用LoRA和SAM模型进行图像分割。以下是对代码中不同部分的解释： - `segment_anything`是一个Python包，其中包含了构建SAM模型和自动生成掩码的工具函数和类。 - `sam_model_registry`是一个SAM...
医学图像分割调整Segment Anything 模型与源码.zip
05-16
医疗 SAM 适配器 (MSA) 的医学图像自适应 SAM 在 19 项医学图像分割任务中表现出卓越的性能，具有各种图像模式，包括 CT、MRI、超声图像、眼底图像和皮肤镜图像。MSA 优于各种最先进的 (SOTA) 医学图像分割方法
算法部署-使用TensorRT8.6部署SAM分割一切大模型-大模型部署-优质算法部署项目实战.zip
03-05
算法部署_使用TensorRT8.6部署SAM分割一切大模型_大模型部署_优质算法部署项目实战
算法部署-使用NCNN在Android平台部署SAM分割一切算法-优质大模型部署项目实战.zip
最新发布
03-14
算法部署_使用NCNN在Android平台部署SAM分割一切算法_优质大模型部署项目实战
CVPR 2022 | 最全25+主题方向、最新50篇GAN论文汇总
热门推荐
idol24的博客
04-30 1万+
一顿午饭外卖，成为CV视觉前沿弄潮儿35个主题！ICCV 2021最全GAN论文汇总超110篇！CVPR 2021最全GAN论文梳理超100篇！CVPR 2020最全GAN论文梳理在最新的视觉顶会CVPR2022会议中，涌现出了大量基于生成对抗网络GAN的论文，广泛应用于各类视觉任务；下述论文已分类打包好！后台回复CVPR2022（长按红字、选中复制）获取分类、按...
GAN的图像修复：多样化补全
idol24的博客
04-19 1万+
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！2019 cvpr：Pluralistic Image Completionhttps://ar...
SAM大模型，图像分割
01-05
SAM大模型是一种通用的图像分割模型，可以处理各种类型的图像。它使用了LoRA和SAM模型来进行图像分割。以下是对SAM大模型和图像分割的介绍： SAM大模型： - SAM大模型是一种通用的图像分割模型，可以处理各种类型的图像。 - 它使用了LoRA和SAM模型来进行图像分割。 - `segment_anything`是一个Python包，其中包含了构建SAM模型和自动生成掩码的工具函数和类。 - `sam_model_registry`是一个SAM模型的注册表，用于存储和管理不同类型的SAM模型。 图像分割： - 图像分割是将图像划分为多个区域的任务，每个区域代表图像中的一个对象或物体。 - 图像分割可以用于许多应用，如目标检测、图像编辑、医学图像分析等。 - SAM大模型使用LoRA和SAM模型来实现图像分割，可以准确地分割出图像中的不同对象或物体。 以下是一个使用SAM大模型进行图像分割的示例代码： ```python import segment_anything # 构建SAM模型 sam_model = segment_anything.build_sam_model() # 加载图像 image = segment_anything.load_image('image.jpg') # 对图像进行分割 mask = sam_model.segment(image) # 显示分割结果 segment_anything.show_segmentation(image, mask) ``` 以上代码演示了如何使用SAM大模型进行图像分割。首先，我们构建了SAM模型，然后加载了要分割的图像。接下来，我们使用SAM模型对图像进行分割，并得到了分割结果的掩码。最后，我们使用`show_segmentation`函数显示了分割结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值