HCSC: Hierarchical Contrastive Selective Coding

HCSC是一种新型的对比学习框架,通过动态维护的分层原型捕捉图像数据集的层次语义结构,选择具有正确语义的正负对,改进实例和原型对比学习,提升图像表示的语义理解能力。
摘要由CSDN通过智能技术生成
       原型对比学习:图像表征与聚类中心之间的交互,可以简单总结为在表征空间中最大化图像特征与其所属的聚类中心的相似度。
       分层语义结构 自然存在于图像数据集中,其中几个语义相关的图像簇可以进一步集成到一个更大的簇中,具有更粗粒度的语义。用图像表示捕获这样的结构可以极大地促进对各种下游任务的语义理解。现有的对比表示学习方法缺乏如此重要的模型能力。此外,这些方法中使用的负样本对不能保证在语义上是不同的,这可能会进一步妨碍学习图像表示的结构正确性。
       在这个框架中,一组层次原型被构建并动态更新,以表示隐空间中数据背后的层次语义结构。该方案旨在 选择具有相似语义的更多样化的正对和具有真正不同语义的更精确的负对
       在过去的几年里,自监督图像表示学习取得了长足的进步,其中基于解决信息难题的传统方法 [12, 16, 33, 34, 49] 明显被对比学习方法 [6-8, 19,36]超越。
       现有的对比方法主要可以分为两类,实例对比学习[7 SimCLR,19 MoCo,36 CPC]和原型对比学习[6 SwAV,27]。
       1.实例对比 旨在隐空间中 将相似的实例映射到附近,同时 将不同的实例映射到相距较远,这保证了不同图像表示之间的合理局部结构。
       2.原型对比 旨在获得 聚集在相应聚类中心周围的 紧凑图像表示,它捕获了一些可以由单个聚类层次结构表示的基本语义结构。
       然而,在对可能始终 拥有多个语义层次
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值