【系列论文研读】Self-supervised learning：rotating，M&M tuning，Jigsaw++

最新推荐文章于 2024-03-29 10:45:00 发布
最新推荐文章于 2024-03-29 10:45:00 发布
阅读量2.3k 收藏 2
点赞数
分类专栏： 论文研读 文章标签： 自监督 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Always_ease/article/details/94723448
版权

How to learn from unlabeled volume data: Self-Supervised 3D Context Feature Learning

Author：Maximilian Blendowski（University of L¨ubeck, Germany）

提出的2.5D的自监督方法，预测不同slice之间某两点的相对位移。使用两个预测网络：直接数值预测和热力图方法。主要用于胸片数据。

 

Scaling and Benchmarking Self-Supervised Visual Representation Learning

Author：Priya Goyal 等（Facebook）

提出了几个self-supervised 的trick：

  1. increasing the size of pre-training

最低0.47元/天 解锁文章
Always_ease
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
自监督学习(Self-Supervised Learning)多篇论文解读（下）
吴建明wujianming_110117
05-30 2285
自监督学习(Self-Supervised Learning)多篇论文解读（下） 之前的研究思路主要是设计各种各样的pretext任务，比如patch相对位置预测、旋转预测、灰度图片上色、视频帧排序等等。CVPR19和ICCV19上，Google Brain的几个研究员发表了两篇论文，从另外的视角分析和研究self-supervised learning问题。两篇paper名字分别是：Revisiting Self-Supervised Visual Representation Learning (CVP
CVPR无监督/自监督学习(Un/Self-supervised Learning)方向论文学习（附摘要）
weixin_43570470的博客
03-29 1772
2021、2022年CVPR无监督/自监督学习(Un/Self-supervised Learning)论文整理（附摘要）
CVPR22 Oral | TransRank: 利用排序损失提供高质量自监督信号
qq_39967751的博客
06-09 328
我们最新的工作 TransRank 在今年的 CVPR 中以 Oral Presentation 被接收。这项工作主要回顾了基于识别数据增强类型（Recognizing Transformation）的自监督学习方法，并提出了 TransRank 框架，通过使用排序损失替代传统的交叉熵损失进行训练以提升自监督学习的性能，并最终证明 RecogTrans 自监督学习方法依然具有可观的潜力。...
机器学习的分类——自监督学习（Self-supervised Learning）
最新发布
guojunwu1977的博客
03-29 651
自监督学习（Self-supervised Learning）是机器学习的一种形式，它在监督学习和无监督学习之间架起了一座桥梁。自监督学习不依赖于传统意义上的标记数据，而是从输入数据本身生成监督信号来训练模型。这种方法允许模型在没有显式标签的情况下学习数据的有用表示，从而利用大量未标记的数据来提高学习效率和性能。
【深度学习】自监督学习详解（self-supervised learning）
Danger的博客
01-30 9848
详解！自监督学习：对比学习和生成学习。
Self-Supervised Representation Learning by Rotation Feature Decoupling （旋转特征解耦的自​​我监督表示学习）
分享日常的学习，开展的项目，编写的软件，解决的问题等~
07-04 4736
本文是论文 Self-Supervised Representation Learning by Rotation Feature Decoupling （旋转特征解耦的自​​我监督表示学习）的翻译，因作者本人水平有限，难免有不妥之处，还望读者不吝赐教，谢谢！ 摘要 我们介绍了一种自我监督的学习方法，该方法着眼于表示的有益特性及其在推广到实际任务中的能力。该方法将旋转不变性纳入特征学习框架，这是视觉表示的许多良好且经过充分研究的特性之一，而以前的基于深度卷积神经网络的自我监督的表示学习方法很少对此加以欣.
【GNN综述_2021_11】Graph Self-Supervised Learning: A Survey
09-02
图上的深度学习最近引起了人们的极大兴趣。然而，大多数工作都集中在（半）监督学习上，导致存在标签依赖重、泛化能力差和鲁棒性弱等缺点。为了解决这些问题，自监督学习 (SSL) 通过精心设计的借口任务提取信息知识...
Scaled-down-self-supervised-learning:自我约束学习的正式pytorch实施
03-25
缩减自我监督学习 正式的pytorch实施的“自我监督学习：小就是美”。 抽象的 近年来，自我监督学习（SSL），尤其是对比学习已经取得了长足的进步。 但是，这些方法的一个共同主题是它们继承了受监督的深度学习场景的...
Self-Supervised-Sketch-to-Image-Synthesis-PyTorch:AAAI-2021论文“Self-Supervised Sketch-to-Image Synthesis”的pytorch实现
05-30
自监督-Sketch2Image-pytorch 自监督草图到图像模型的 pytorch 实现，该论文可以在找到。0. 数据对于 CelebA 和 WikiArt 绘画图像，预处理后的 RGB 图像数据及其对应的草图图像可在此1. 说明代码结构如下： models....
Self-Supervised_Learning_Papers-Code:自我监督学习论文
04-04
论文2021 RGB-D显着目标检测的自监督表示学习（） 通过自我监督的多任务学习来学习特定于形式的表示形式以进行多模态情感分析（）（） 理解无对比对的自我监督学习动力学（）（） 多视角的自我监督学习。（）（ ...
SS-SFDA-Self-Supervised-Source-Free-Domain-Adaptation-for-Road-Segmentation-in-Hazardous-Environme:论文“ SS SFDA”的代码库
04-12
论文 项目页面 在观看整个视频 如果您觉得有用，请引用我们的论文。 @article{kothandaraman2020safe, title={SAfE: Self-Attention Based Unsupervised Road Safety Classification in Hazardous Environments},...
self-supervised-semantic-segmentation
03-27
SAR到光学转码的Pol-SAR图像语义分割的自我监督学习 在信息与通信工程硕士论文期间开发的框架。 工作介绍。 正在修订中，有可能发表。 很快将提供文档。 论文摘要： 在遥感领域，在过去的几十年中，数据采集过程得到了很大的发展。 每年都会部署许多新技术，例如传感器，卫星和太空探索任务。 这种探索未知的努力产生了很多有价值的数据。 如果将这些信息量存储在硬盘驱动器上，则可能成为负债而不是资产。 由于这些原因，利用收集的数据至关重要。 这就是为什么自动数据分析成为科学界的一个热门话题的动机。 本文的目的是针对极化合成Kong径雷达（Pol-SAR）图像的语义分割。 自动解释图像的最新技术称为人工神经网络。 这些技术经过算法训练，可以通过示例执行任务学习。 这意味着，训练此类算法最重要的要求是数据注释。 注释是包含数据解释的其他手工信息。 使用注释数据训练的算法在监督下得到解决。 相对于Po
Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
02-08
作者：Xiaohang Zhan,Ziwei Liu,Ping Luo,Xiaoou Tang,Chen Change Loy 摘要：Deep convolutional networks for semantic image segmentation typically require large-scale labeled data, e.g. ImageNet and MS COCO, for network pre-training. To reduce annotation efforts, self-supervised semantic segmentation is recently proposed to pre-train a network without any human-provided labels. The key of this new form of learning is to design a proxy task (e.g. image colorization), from which a discriminative loss can be formulated on unlabeled data. Many proxy tasks, however, lack the critical supervision signals that could induce discriminative representation for the target image segmentation task. Thus self-supervision's performance is still far from that of supervised pre-training. In this study, we overcome this limitation by incorporating a "mix-and-match" (M&M) tuning stage in the self-supervision pipeline. The proposed approach is readily pluggable to many self-supervision methods and does not use more annotated samples than the original process. Yet, it is capable of boosting the performance of target image segmentation task to surpass fully-supervised pre-trained counterpart. The improvement is made possible by better harnessing the limited pixel-wise annotations in the target dataset. Specifically, we first introduce the "mix" stage, which sparsely samples and mixes patches from the target set to reflect rich and diverse local patch statistics of target images. A "match" stage then forms a class-wise connected graph, which can be used to derive a strong triplet-based discriminative loss for fine-tuning the network. Our paradigm follows the standard practice in existing self-supervised studies and no extra data or label is required. With the proposed M&M approach, for the first time, a self-supervision method can achieve comparable or even better performance compared to its ImageNet pre-trained counterpart on both PASCAL VOC2012 dataset and CityScapes dataset.
论文阅读：(2020 AAAI) Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning
qq_36627158的博客
07-19 398
Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning （2020 AAAI） Dezhao Luo, Chang Liu, Yu Zhou, Dongbao Yang, Can Ma, Qixiang Ye, Weiping Wang Notes 论文：Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning 代码：https://git.
2021年3月31最新论文（计算机视觉，图像分割，图像识别，图像分类）
AI速递
03-31 2225
【1-66】移步到公众号：AI速递 [67] Classifying Video based on Automatic Content Detection Overview 作者 | Yilin Wang, Jiayi Ye 链接 | https://arxiv.org/abs/2103.15323 [68] TFPose: Direct Human Pose Estimation with Transformers 作者 | Weian Mao, Yongtao Ge, Chunhua Shen, Zh
阅读理解《Better and Faster: Knowledge Transfer from Multiple Self-supervised Learning Tasks via Graph D》
coolerzZ的博客
05-29 959
文章摘要提出要解决Video representation learning问题现存的方法存在两个局限：1）仅仅局限在一个任务，忽视了不同任务特征的补充，因此导致了结果的次优。2）高额的计算和记忆消耗阻碍了在现实情境的应用。而本篇文章提出了一个基于图形的提取框架来处理这些问题：1）提出了   logits graph、   representation graph  来从多个自我监督任务中迁移知识...
[CVPR 2019论文阅读笔记]Self-Supervised Learning of 3D Human Pose using Multi-view Geometry
keep_early的博客
07-17 2454
失踪博主前来打卡啦
【论文阅读-NRE】Self-Supervised Representation Learning via Neighborhood-Relational Encoding
adaliu1998的博客
09-27 847
Abs： 自监督表示 NRE：neighborhood-relational encoding邻居相关编码 旧的unsupervised方法一般只注重用deep net抓取data中的重点，而忽视了他们和邻居之间的关系，这关系可以很有用。 NRE试图在流形上保持局部的邻居结构，这样会对远处的点更不敏感。 NRE实现为encoder-decoder结构，学习基于结点局部邻居的表示。 结果还...
【论文笔记】Fine-Grained Segmentation Networks: Self-Supervised Segmentation for Improved Long-Term Visual
phy12321的博客
09-20 806
针对视觉定位的语义分割网络, ICCV 2019 论文工作的动机： using more segmentation labels to create more discriminative, yet still robust, representations for semantic visual localization 本文主要针对Long-term的视觉定位任务，提出了一个精细化分割网络，可以对场景进行精细化fine-grained的分割，得到相比于现有语义分割网络的分.
帮我讲解总结一下Self-Supervised Learning for Recommender Systems: A Survey这篇论文
02-22
答：本文提出了一种基于自监督学习的推荐系统，它可以提取用户和物品之间的关系，以更准确地预测用户的需求。它可以构建具有最佳性能的推荐系统，可以更好地满足用户的社交和娱乐需求。它使用机器学习算法来构建推荐...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值