《Knowledge Transfer from Multiple Self-supervised Learning Tasks via Graph Distillation 对于视频分类》论文笔记

最新推荐文章于 2024-03-16 16:37:08 发布
最新推荐文章于 2024-03-16 16:37:08 发布
阅读量558 收藏 3
点赞数
分类专栏： 论文调研 文章标签： knowledge transfer video representation
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/klrp95/article/details/88673778
版权
本文探讨如何通过图蒸馏框架解决自监督学习在视频分类中的局限，提出logits图和表示图进行知识迁移，利用多任务教师模型的知识指导轻量级学生模型的学习，提升视频表示的鲁棒性和效率。
摘要由CSDN通过智能技术生成

北京大学

视频表示学习是提出有区别性的（discriminative）特征，是视频分类的一个重要问题。

自监督学习提取了raw visual数据的结构信息作为监督信息，从而在不实用人工标注的情况下得到transferable representation。具体来说，是机器通过使用self-supervision 而不是labels 解决了一个auxiliary task，这个过程可以得到有用的表示。这个方法的原理是：需要数据的高级语义理解，这forces 自监督模型学习有用的表示。

自监督学习是一种信息密集型的自学习media，其本质上提供了丰富的上下文监督线索，因此在视频处理领域具有很大的潜力。

自监督学习通过解决辅助任务，探索海量数据中隐含的用于特征学习的内在监督信号。但当把这个技术用于视频分类中时，会出现两种局限性：1.只关注单个任务，忽略不同任务task-specific features的互补性。在经验上，在解决不同视频任务时需要不同的特征，这些特征可以相互补充，形成对视频语义的全面理解。2.计算和内存消耗大，不利于应用（使用更深更宽的模型进行表示编码）

自监督学习的重要贡献：回答了怎样有效地评估 没有使用人工标注数据进行训练的模型 的表现。通常在这个领域设计的任务不是直接针对问题的，这些“auxiliary”任务很难保证模型可以学习高级的表示。

过去在单个图像领域的auxiliary tasks包括使用网络来补绘确实大部分区域的图像（Deepak Pathak, Philipp Krahenbuhl, Jeff Donahue, Trevor Darrell, and Alexei A Efros. Con- text encoders: Feature learning by inpainting. In CVPR, pages 2536–2544, 2016.），为灰度图填色（Richard Zhang, Phillip Isola, and Alexei A Efros. Colorful image colorization. In ECCV, 2016.），拼图任务（Carl Doersch, Abhinav Gupta, and Alexei A Efros. Unsupervis

最低0.47元/天 解锁文章
klrp95
关注
专栏目录
Fair Visual Recognition in Limited Data Regime using Self-Supervision and Self-Distillation论文解读
m0_51751264的博客
05-24 321
Fair Visual Recognition in Limited Data Regime using Self-Supervision and Self-Distillation论文解读 论文地址：2022 WACV 摘要 深度学习模型通常会学习训练数据中存在的偏差。研究人员提出了几种方法来减轻这种偏差，使模型更加公平。这些减轻偏差的方法通常假设存在足够大量的训练样本。然而，我们观察到，如果训练数据是有限的，那么偏差缓解方法的有效性会严重下降。在本文中，我们提出了一种新的方法来解决这个问题。具体来说，我
阅读理解《Better and Faster: Knowledge Transfer from Multiple Self-supervised Learning Tasks via Graph D》
coolerzZ的博客
05-29 980
文章摘要提出要解决Video representation learning问题现存的方法存在两个局限：1）仅仅局限在一个任务，忽视了不同任务特征的补充，因此导致了结果的次优。2）高额的计算和记忆消耗阻碍了在现实情境的应用。而本篇文章提出了一个基于图形的提取框架来处理这些问题：1）提出了   logits graph、   representation graph  来从多个自我监督任务中迁移知识...
【论文阅读】Revisiting self-supervised visual representation learning
qq_36627158的博客
10-03 542
0、写在前面 比起其他设计 novel SSL pretext task 的文章，这篇文章主要是做实验探究：network architecture 对 SSL pretext task 后学到 representation 好坏的影响。 1、结论 Architecture choices which negligibly affect performance in the fully labeled setting, may significantly affect performance in
论文翻译——Revisiting Self-Supervised Visual Representation Learning
lsfeitianzhuzhuxia的博客
02-27 289
在计算机视觉研究中，无监督的视觉表征学习仍然是一个很大程度上尚未解决的问题。在最近提出的大量无监督视觉表示学习方法中，一类自监督技术在许多具有挑战性的基准测试上取得了优异的性能。已经研究了大量用于自我监督学习的借口任务，但其他重要方面，如卷积神经网络（CNN）的选择，尚未得到同等重视。因此，我们重新审视了许多先前提出的自我监督模型，进行了彻底的大规模研究，结果发现了多个关键见解。我们挑战了自监督视觉表示学习中的一些常见实践，并观察到CNN设计的标准配方并不总是转化为自监督表示学习。
技术动态 | 图上知识蒸馏怎么做？中科院计算所等最新《基于图的知识蒸馏》综述...
开放知识图谱
03-09 797
转载公众号 | 专知图数据在现实世界中普遍存在，如引文网络、社交网络、交通网络等。图神经网络(GNNs)以其鲁棒的表达能力和出色的性能在各种图分析应用中得到了广泛的关注。然而，GNNs的有效性严重依赖于足够的数据标签和复杂的网络模型，前者具有挑战性，后者需要昂贵的计算资源。为解决GNN的标记数据稀缺和高复杂度问题，引入了知识蒸馏(KD)来增强现有的GNN。该技术涉及在保持预测性能的同时，将大型教师...
【论文阅读】Self-Supervised Learning of Graph Neural Networks: A Unified Review
grove976的博客
11-08 2080
论文题目：Self-Supervised Learning of Graph Neural Networks: A Unified Review 论文地址：https://arxiv.org/abs/2102.10757 1 Introduction 可以将SSL的前置任务分为两类：对比模型和预测模型。 两类的主要区别在于对比模型需要data-data对进行训练，而预测模型需要data-label对，其中label时从数据中自行生成的，如图1 对比模型通常利用自监督来学习数据表示或为下游任务执行预训.
【论文笔记】AffinityNet Semi-supervised few-shot learning for disease type prediction
苣篛
02-20 1096
AffinityNet: Semi-Supervised Few-Shot Learning for Disease Type PredictionPublication:Code:Dataset:IntroductionRelated WorkAffinity Network Model (AffinityNet)kNN attention pooling layerAttention kernelsLayer-specific dynamic affinity graphSemi-supervised
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 4962
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
连续学习总结（传统连续学习continual learning和图连续学习 graph continual learning）
最新发布
salaryhhhh的博客
03-16 1450
连续学习综述，连续学习的背景，介绍，发展现状（正则化，重播，参数隔离）。图连续学习的背景，介绍，发展现状（正则化，重放，结构），连续学习发展问题和未来发展展望。
精读Self-Supervised Visual Representations Learning by Contrastive MaskPrediction
qq_42578970的博客
10-14 521
摘要 之前最佳的自监督视觉表征学习，主要以实例辨别（Instance Discrimination，ID）作为主要任务。这个任务暗含了实例一致性的假设，而这个假设在未加限制的数据集中不一定总是成立。本文提出了一种对比遮罩预测（Contrastive Mask Prediction，CMP）任务，并提出了新的框架MaskCo。 介绍 以往最佳的自监督视觉表征学习所采用的pretext task如上图，网络从数据库里拿出一些图像，做不同变换，预测哪两...
论文解读（IGSD）《Iterative Graph Self-Distillation》
qq_45562973的博客
04-28 622
🚀 优质资源分享 🚀 学习路线指引（点击解锁） 知识定位 人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 论文信息 论文标题：Iterative Graph Self-Distillation论文作者：Hanlin Zhang, Shuai Lin, Weiyang Li
自监督学习(Self-Supervised Learning)多篇论文解读（上）
吴建明wujianming_110117
05-30 3230
自监督学习(Self-Supervised Learning)多篇论文解读（上） 前言 Supervised deep learning由于需要大量标注信息，同时之前大量的研究已经解决了许多问题。所以近期大家的研究关注点逐渐转向了Unsupervised learning，许多顶会包括ICML, NeurIPS, CVPR, ICCV相继出现一些不错的paper和研究工作。 这里主要关注Unsupervised learning一类特定的方法：Self-supervised learning（自监督学习）。
自监督学习（二）自监督学习性能概述
weixin_47444348的博客
04-30 3117
Scaling and Benchmarking Self-Supervised Visual Representation Learning介绍 介绍
《Graph Representation Learning》【4】——Multi-relational Data and Knowledge Graphs
智慧的旋风的博客
11-27 805
4 Multi-relational Data and Knowledge Graphs 这一部分，我们将介绍多关系图（multi-relational graph）中的浅层嵌入方法。 Knowledge graph completion 这一章的大多数方法，最初都是为完成知识图谱任务而设计的。 在多关系图中，我们一般会定义这样的三元组（tuple）：e=(u,τ,v)e=(u,\tau,v)e=(u,τ,v)，来表示两个节点之间存在某种关系。一般来说，知识图谱任务的目标是预测图中缺失的边，即链接预测（li
常见知识蒸馏方法总结记录
Together_CZ的博客
09-15 1583
常见知识蒸馏方法总结记录
万字综述 | 一文读懂知识蒸馏
u012347027的博客
12-20 1万+
知识蒸馏综述摘要知识蒸馏简介知识Response-Based KnowledgeFeature-Based KnowledgeRelation-Based Knowledge蒸馏离线蒸馏（Offline Distillation）在线蒸馏（Online Distillation）自我蒸馏（Self-Distillation）师生架构蒸馏算法对抗蒸馏（Adversarial Distillation）多教师蒸馏（Multi-Teacher Distillation）跨模态蒸馏（Cross-Modal Dist
自监督学习(Self-supervised Learning)的深刻理解
刘望的博客
07-09 8176
参考资料 [1] 本文主要参考资料来自https://zhuanlan.zhihu.com/p/125721565
ECCV 2018 完整论文集 -- List & 下载链接
热门推荐
TomRen
09-02 1万+
下文列表为ECCV2018官网得到了今年接收论文列表，共779篇： 持续更新下载链接 Oral: Convolutional Networks with Adaptive Computation Graphs Progressive Neural Architecture Search Diverse Image-to-Image Translation via Dise...
self-supervised learning
09-21
自我监督学习是一种机器学习方法，通过对数据进行合理的预测任务，从中获得有用的表示。与传统的监督学习不同，自我监督学习不需要人工标注的标签来指导训练，而是利用数据自身的信息进行训练。 自我监督学习的基本思想是从未标记的数据中构造有意义的标签，然后将这些标签用作训练数据，以学习有用的特征表示。通过对输入数据进行某种形式的变换或遮挡，可以生成一对相关的样本。其中一个样本称为正样本，另一个则被视为负样本。例如，在图像领域中，可以通过将图像进行旋转、裁剪或遮挡等变换来生成正负样本对。模型的目标是通过学习从一个样本到另一个样本的映射，从而使得正样本对之间的相似度更高，负样本对之间的相似度更低。 自我监督学习在许多任务中都取得了很好的效果。例如，在自然语言处理任务中，可以通过遮挡句子中的某些单词或短语来生成正负样本对，然后通过学习从一个句子到另一个句子的映射来进行训练。在计算机视觉任务中，可以通过图像的旋转、裁剪、遮挡或色彩变换等方式来生成正负样本对。 自我监督学习的优点是不需要人工标注的标签，可以利用大量的未标记数据来进行训练，从而扩大训练数据的规模。此外，自我监督学习还可以通过学习到的特征表示来提高其他任务的性能，如分类、目标检测和语义分割等。 总之，自我监督学习是一种有效的无监督学习方法，通过构造有意义的预测任务，从未标记的数据中学习有用的特征表示。它在各种任务中都有广泛的应用，并具有很高的潜力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值