论文阅读--ViLD

最新推荐文章于 2024-08-25 13:53:53 发布
最新推荐文章于 2024-08-25 13:53:53 发布
阅读量332 收藏 4
点赞数 2
文章标签： 论文阅读 人工智能 深度学习 CLIP 多模态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73202283/article/details/139177127
版权

现在的目标检测数据集，标注的类别都很有限，如图中的base categories，只能检测出toy而不能检测出细分类别，能不能在现有数据集的基础上，不额外打标注，就能直接检测细分物体？

 

（a）有监督的baseline方法：mask RCNN，第一阶段出一些region proposal，第二阶段根据N个proposal，经过一个detection head得到embeddings，最好通过分类头得到这些bonding box是什么类

（b）ViLD的text部分：利用CLIP处理文本的方法(冻结)得到文本特征，其中文本的标签是基础类也就是base categories，最后图像特征和文本特征点乘算相似度当作logits，back ground是背景类，有专门的网络进行embedding

（c）ViLD的image部分：CLIP已经够好了，所以希望这边图像编码器输出的region embedding能尽可能的跟CLIP输出的图像embedding一致就好了。利用知识蒸馏，把图像编码器得到的bonding box做一些resize操作，扔给CLIP预训练好的image encoder(冻结)，得到图像特征，当作teacher网络，student则是mask RCNN。值得注意的是为了节省开销，ViLD-image中的proposal是预训练好的，可以放在内存中训练时直接用，而text中的proposal是实时出来的

__如果
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
联通客服电话爆重大漏洞 2亿用户受影响.doc
11-21
一旦信息填写完毕并提交，系统会生成一个名为`vild.do`的文件，文件内容显示为“yes”，表明短信发送成功。几秒钟后，目标联通用户的手机就会收到这条由攻击者伪造的10010短信。 值得注意的是，此漏洞在2月14日就...
【论文阅读】基于 Voronoi 的无向点集变分重建
WoooChi的博客
08-25 515
Voronoi-based Variational Reconstruction of Unoriented Point Sets 部分翻译
【论文阅读】NGD-SLAM: Towards Real-Time SLAM for Dynamic Environments without GPU
博客标题不能为空我也没办法
08-23 929
一篇语义辅助的视觉SLAM，设计的掩码预测方法能够让设备在不使用GPU的情况下完成语义分割的实时预测
Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport论文阅读笔记
weixin_46103454的博客
08-20 454
假设给定一个目标流pt和生成它的向量场ut .学习与pt相匹配的流的一种方法是通过对目标向量场的回归进行梯度下降。
VIT论文阅读： A Image is Worth 16x16 Words
qq_19859865的博客
08-18 597
在2024年，大家都知道了transformer的故事，但是在4年前, CNN和Transformer谁才是CV的未来，还没有那么确定。在简介部分，作者提到了一个令人失望的事实，在基于imagenet的实验中发现，transformer的表现差于同尺寸的ResNet。作者把原因归结到bias translation equivariance and locality，这些CNN具有，但是transformer不具有的特性上。如下图【1】
图像分割论文阅读：BCU-Net: Bridging ConvNeXt and U-Net for medical image segmentation
wwimhere的博客
08-23 434
本文提出了一种集合ConvNeXt和U-Net优势的网络模型来分割医学图像。当然，模型整体结构就是并列双分支，如果只是这些内容，不值得拿出来讲。multilabel recall loss module，简称MRL。
图形学论文笔记
qq_35975367的博客
08-22 409
【深入浅出 Nvidia FleX】(1) Position Based Dynamics 最简化的PBD(基于位置的动力学)算法详解-论文原理讲解和太极代码 最简化的PBD(基于位置的动力学)算法详解-论文原理讲解和太极代码基于XPBD的物理模拟一条龙：公式推导+代码+文字讲解（纯自制）超简单的shape matching算法模拟刚体运动–原理与代码(太极taichi)实践 【物理模拟】最简单的shape matching的原理与实践
【论文阅读】使用神经形状先验的多视图三维重建和不确定性建模
最新发布
WoooChi的博客
08-25 534
Multi-view 3D Object Reconstruction and Uncertainty Modelling with Neural Shape Prior 部分翻译
【论文阅读】DaST: Data-free Substitute Training for Adversarial Attacks（2020）
Glass_Gun的博客
08-21 995
Machine learning models（机器学习模型） are vulnerable（容易受到） to adversarial examples（对抗样本）. For the black-box setting（对于黑盒设置）, current substitute attacks（目前替代攻击） need pre-trained models（预训练模型） to generate adversarial examples（生成对抗样本）. However, pre-trained models（预
论文阅读：scMGCA----模型方法
dundunmm的博客
08-20 1047
单细胞RNA测序提供了高通量的基因表达信息，使我们能够在单个细胞水平上探索细胞异质性。然而，在表征高通量基因表达数据时，面临着维度问题和掉落事件（dropout events）的挑战。为了解决这些问题，我们开发了一种用于单细胞数据分析的深度图学习方法—scMGCA。scMGCA基于图嵌入自编码器，能够同时学习细胞-细胞的拓扑结构表示和聚类分配。我们证明了scMGCA在细胞分离和批次效应校正方面具有高准确性和有效性，并在多个平台上超越了其他最先进的模型。
Enhancing Octree-Based Context Models for Point Cloud Geometry Compression 论文笔记
skyxya的博客
08-21 609
这种方法可以衡量子节点之间的位置信息差异，但对于衡量实际占用的子节点数量和预测的差异不够准确。在这个场景下，模型的任务不仅是预测每个子节点是否被占用（分类），而且是要准确预测占用的子节点数量（回归）。为了应对上述问题，作者提出了一个基于注意力的ACNP模块，该模块直接预测占用的子节点数量，并将其映射为一个8维向量，该向量包含占用子节点数量的信息。该模块是通用的，能够提升多种上下文模型的性能。，但在八叉树几何压缩上下文中使用它来衡量预测与真实占用子节点数量之间的差异（这里本身是一个回归问题）时是不合适的。
【LLM之Data】Persona Hub论文阅读笔记
<p>专注挖坑</p>
08-22 666
本文提出了一种基于“角色驱动”的合成数据生成方法，旨在通过构建一个包含10亿个角色的“Persona Hub”来从不同的视角生成多样化的数据。这些角色作为世界知识的分布式载体，能够指导LLM生成与之相匹配的多样性数据。研究目标包括展示该方法在多种场景（如数学问题、逻辑推理问题、用户指令、知识丰富文本、游戏NPC及工具开发）中的应用，并探讨其在推动LLM研究与应用中的潜在价值。
【论文阅读】PRADA: Protecting Against DNN Model Stealing Attacks（2019）
Glass_Gun的博客
08-21 864
Alternative（备选） model stealing attacks（模型窃取攻击） assume（假设） access to large sets of natural samples（可以访问大量自然样本） and use active learning strategies（主动学习策略） to select the best samples（选择最佳的样本） to query [37].
【小迪安全笔记V2022】信息打6~8
2202_75354817的博客
08-25 435
小迪安全学习笔记
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 896
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
透明性和解释性AI：概念与应用
weixin_49007164的博客
08-25 652
透明性AI指的是AI系统的操作过程、决策机制、数据流动和模型行为是可理解和可追踪的。换句话说，透明性AI使得人们可以清楚地看到AI系统是如何做出决策的，这一过程包括输入数据的处理方式、模型的内部计算过程、以及最终决策的产生机制。解释性AI是指AI系统不仅能够给出决策结果，还能够提供关于该决策如何产生的解释。解释性AI的目标是帮助用户理解AI的行为，尤其是当AI的决策与预期不符时，提供合理的解释来消除用户的疑虑。
yolov8 出现loss 为nan
zhaoluruoyan89的博客
08-21 320
这篇博客警示读者在购买用于深度学习的显卡时要避开那些导致RuntimeWarning: All-NaN slice encountered的问题。作者强调这些Tensor核心存在严重缺陷，不适宜进行深度学习任务，建议大家在选购时务必谨慎。方法二：将混合精度训练AMP 设置为False。方法一：降低cuda和pytorch 版本号。
基于Python星载气溶胶数据处理与反演分析
lwjnlqiqi的博客
08-21 1177
Python星载气溶胶数据处理与反演分析
基于YOLO V8的PCB缺陷检测识别系统（python源码+Pyqt5界面+数据集+训练代码）
2401_83580557的博客
08-22 437
基于YOLO V8的PCB缺陷检测识别系统【python源码+Pyqt5界面+数据集+训练代码】
spring boot 对注解@vild检验注解的全局异常处理
09-20
Spring Boot对于注解@Valid的全局异常处理是通过使用@ControllerAdvice注解来实现的。@ControllerAdvice注解被用于定义一个全局的异常处理器，可以捕获所有Controller层抛出的异常。 在一个使用了@Valid注解的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值