self-supervised learing

最新推荐文章于 2024-01-29 11:58:50 发布
最新推荐文章于 2024-01-29 11:58:50 发布
阅读量311 收藏
点赞数
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30129009/article/details/103099480
版权

1.Pseudo label:基于pretext tasks的数据属性直接生成的标签.
2.pretext task: Pretext tasks 是网络要解决的预先设计的任务，通过学习Pretext tasks 的目标函数来学习视觉特征。

Pretext tasks are pre-designed tasks for networks to solve, and visual
features are learned by learning objective functions of pretext tasks.

3.Downstream task 用于评估自我监督学习所学习到的特征的质量.

Downstream tasks are computer vision applications that are used to evaluate the quality of features learned by self-supervised learning.

取自:这里

junjian Li
关注
专栏目录
机器学习13 -- 无监督学习之自监督 self-supervised
谢杨易的博客
09-12 1万+
1 为什么要自监督学习 self-supervised learning 自监督学习是无监督学习的一种特殊方式。我们在无监督学习中讲过了，标注label是十分宝贵的，一般需要人工打标，时间和人力成本都十分高昂。但现实中，获取无标注data确实相对比较easy的事情。我们可以在网络上爬取很多很多的文本、图片、语音、商品信息等。如何利用这些无标注data，一直以来都是无监督学习的一个重要方向。而自监督学习则给出了一种解决方案。 自监督学习通过data的一部分，来predict其他部分，由自身来提供监督信号，
Preservational Learning Improves Self-supervised Medical Image Models by Reconstructing Diverse Cont
py今天刷题了吗
05-05 303
文章目录3. 参考资料 contrastive + predictive？ 3. 参考资料 ICCV2021 2D和3D通用！新医疗影像自监督SOTA（代码已开源）
19-Self-supervised-Visual-Feature-Learning-with-Deep-Neural-Networks-A-Survey
u010067397的专栏
05-05 2382
who Longlong Jing and Yingli Tian ∗ , Fellow, IEEE 2019- what 为了避免收集和注释大规模数据集的大量成本，作为无监督学习方法的子集，提出了自我监督学习方法，以从大规模未标记数据中学习一般图像和视频特征，而无需使用任何人工标注的标签。 一些术语 1. Pseudo label: 伪标签是基于pretext tasks的数据属性自动...
一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)
热门推荐
qq_44015059的博客
05-30 5万+
1. 机器学习学习任务 1.1 监督学习 根据输入-输出样本对L={(x1,y1),⋅⋅⋅,(xl,yl)}L=\{(x1,y1),···,(xl,yl)\}L={(x1,y1),⋅⋅⋅,(xl,yl)}学习输入到输出的映射f:X−>Yf:X->Yf:X−>Y,来预测测试样例的输出值。SL包括分类(Classification)和回归(Regression)两类任务，分类中的样例xi∈Rmx_i∈R^mxi​∈Rm(输入空间)，类标签yi∈{c1,c2,⋅⋅⋅,cc}y_i∈\{c_1,c
Self-supervised
weixin_41807182的博客
02-28 1485
本文针对自己阅读文献资料做的笔记： 目录： 1.为什么会有self-supervised？ 2.什么是self-supervised？  1.为什么会有self-supervised？         为了利用深度网络进行有监督学习时，我们需要大量有标签的数据。而现实生活中，有很多领域的有标签数据很少，而我们只能通过类似人工标注的方法获得相对应的大量标记数据，该过程是非常耗时耗力。相反，无标签的数据在当今信息时代是非
自监督学习（Self-supervised Learning）
乐乐lelele的博客
12-08 5万+
自监督学习(Self-supervised learning)是这两年比较热门的一个研究领域，它旨在对于无标签数据，通过设计辅助任务（Proxy tasks）来挖掘数据自身的表征特性作为监督信息，来提升模型的特征提取能力
自监督学习self-supervised learning 概述
二十年蝉电子学习博客
11-22 2316
深度学习被分为：监督学习，无监督学习和自监督学习。监督学习近些年获得了巨大的成功，但是有如下的缺点：1.人工标签相对数据来说本身是稀疏的，蕴含的信息不如数据内容丰富；2.监督学习只能学到特定任务的知识，不是通用知识，一般难以直接迁移到其他任务中。无监督学习算法的结果可能不太准确,因为输入数据没有标记,并且算法事先不知道确切的输出。由于这些原因，自监督学习的发展被给予厚望。自监督学习（Self-Supervised Learning）是无监督学习里面的一种，也被称作(pretext task)
Self-supervised Learning
zzz_qing的博客
04-23 149
Self-Supervised Learning，又称为自监督学习。一般机器学习分为有监督学习，无监督学习和强化学习。而 Self-Supervised Learning 是无监督学习里面的一种，主要是希望能够学习到一种通用的特征表达用于下游任务 (Downstream Tasks)。其主要的方式就是通过自己监督自己。
【图像去噪/扩散模型】Deconstructing Denoising Diffusion Models for Self-Supervised Learning(l-DAE)
最新发布
畅游计算机视觉的海洋
01-29 1万+
在这项研究中，我们研究了最初用于图像生成的去噪扩散模型 (DDM) 的表示学习能力。我们的理念是解构 DDM，逐渐将其转换为经典的去噪自动编码器 (DAE)。这种解构过程使我们能够探索现代 DDM 的各种组件如何影响自监督表示学习。我们观察到，只有少数现代组件对于学习好的表示至关重要，而其他许多组件并不重要。我们的研究最终得出了一种高度简化的方法，在很大程度上类似于经典的DAE。我们希望我们的研究在现代自我监督学习领域重新点燃了一系列经典方法的兴趣。
EEG and Self-supervised Learning
03-22
标题 "EEG and Self-supervised Learning" 涉及到的是使用深度学习技术对脑电图（EEG）数据进行分析的研究领域。EEG是一种记录大脑电活动的技术，广泛应用于神经科学、医学诊断和生物信号处理。自我监督学习是机器...
Self-supervised learning methods and applications in medical im
09-25
自我监督学习方法与医疗成像分析的应用：一项调查 在医疗成像分析领域，高质量注释的医学图像数据集的可用性是一个重大问题，它阻碍了机器学习应用的发展。自我监督学习是一种新兴的训练范式，它允许在无需人类注释...
【GNN综述_2021_11】Graph Self-Supervised Learning: A Survey
09-02
图神经网络（GNNs）是深度学习在处理图数据时的重要工具，它们能够学习节点、边和整个图的表示。然而，传统的图学习方法，尤其是（半）监督学习，严重依赖于大量的人工标签，这限制了其泛化能力和鲁棒性。...
再介绍一篇最新的Contrastive Self-supervised Learning综述论文 .rar
10-18
这篇压缩包文件包含的是一篇关于Contrastive Self-supervised Learning的最新综述论文。Contrastive Self-supervised Learning是当前深度学习领域的一个热点研究方向，尤其在计算机视觉（CV）、自然语言处理（NLP）...
Contrastive Self-supervised Learning for Graph Classification
12-20
Contrastive Self-supervised Learning for Graph Classification 在图分类问题中， Contrastive Self-supervised Learning（对比自监督学习）是一种有效的方法，它可以解决图分类模型中的过拟合问题。该方法通过在...
Unsupervised Pre-Training of Image Features on Non-Curated Data论文研读
junjian Li
11-30 1125
Abstract 目前大多数非监督的特征学习的数据集一般都是小且经过精挑细选的,比如说ImageNet,因为评估transfer task的时候使用non-curated的原数据会降低特征的质量. 这篇文章的目的就是去研究在non-curated的数据下的非监督学习的方式.针对这一问题，提出了一种新的无监督方法，即利用自监督和聚类的方法来获取大规模数据中的complementary statist...
Unsupervised Feature Learning via Non-Parametric Instance Discrimination
junjian Li
12-13 719
论文地址：Unsupervised Feature Learning via Non-Parametric Instance Discrimination github代码:NCE代码 摘要: 在有标签数据上训练的神经网络分类器能够很好的捕捉图片间的视觉相似性。文章假设：我们能通过训练基于实例（将每一个样本视为单独的类别）的分类器代替基于类别的分类器，得到可以捕捉视觉相似性的特征表达。我们将其总结...
Unsupervised Subtyping of Cholangiocarcinoma Using a Deep Clustering Convolutional Autoencoder
junjian Li
05-29 413
摘要 与前列腺癌和乳腺癌等常见癌症不同，罕见癌症的肿瘤分级很困难，而且很大程度上是不确定的，因为样本量小，承担这样的任务需要大量的时间和经验，而且提取人类观察到的模式本身就很困难。最具挑战性的例子之一是肝内胆管癌(ICC)，这是一种起源于胆道系统的原发性肝癌，其肿瘤异质性是公认的，并且没有分级范例或预后生物标志物。本文提出了一种新的基于无监督深卷积自动编码器的聚类模型，该模型基于视觉相似性将246张数字化整张幻灯片中的肿瘤细胞形态和结构形态组合在一起。基于这种组织学模式的视觉字典的群集被解释为新的ICC亚型
论文研读TOWARDS UNSUPERVISED CANCER SUBTYPING: PREDICTING PROGNOSIS USING A HISTOLOGIC VISUAL DICTIONARY
junjian Li
07-06 320
TOWARDS UNSUPERVISED CANCER SUBTYPING: PREDICTING PROGNOSIS USING A HISTOLOGIC VISUAL DICTIONARY Abstract： 与前列腺癌和乳腺癌等常见癌症不同，因为样本量小，罕见癌症的肿瘤分级非常困难，而且在很大程度上不确定，完成这项任务需要大量时间，以及提取人类观察到的模式的固有困难。最具挑战性的例子之一是肝内胆管癌(ICC)，这是一种源于胆道系统的原发性肝癌，其肿瘤异质性已被公认，且没有分级范式或预后标志物（no g
self-supervised learning
09-21
自我监督学习是一种机器学习方法，通过对数据进行合理的预测任务，从中获得有用的表示。与传统的监督学习不同，自我监督学习不需要人工标注的标签来指导训练，而是利用数据自身的信息进行训练。 自我监督学习的基本思想是从未标记的数据中构造有意义的标签，然后将这些标签用作训练数据，以学习有用的特征表示。通过对输入数据进行某种形式的变换或遮挡，可以生成一对相关的样本。其中一个样本称为正样本，另一个则被视为负样本。例如，在图像领域中，可以通过将图像进行旋转、裁剪或遮挡等变换来生成正负样本对。模型的目标是通过学习从一个样本到另一个样本的映射，从而使得正样本对之间的相似度更高，负样本对之间的相似度更低。 自我监督学习在许多任务中都取得了很好的效果。例如，在自然语言处理任务中，可以通过遮挡句子中的某些单词或短语来生成正负样本对，然后通过学习从一个句子到另一个句子的映射来进行训练。在计算机视觉任务中，可以通过图像的旋转、裁剪、遮挡或色彩变换等方式来生成正负样本对。 自我监督学习的优点是不需要人工标注的标签，可以利用大量的未标记数据来进行训练，从而扩大训练数据的规模。此外，自我监督学习还可以通过学习到的特征表示来提高其他任务的性能，如分类、目标检测和语义分割等。 总之，自我监督学习是一种有效的无监督学习方法，通过构造有意义的预测任务，从未标记的数据中学习有用的特征表示。它在各种任务中都有广泛的应用，并具有很高的潜力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值