论文阅读:Unsupervised Deep Learning by Neighbourhood Discovery

最新推荐文章于 2023-03-20 19:46:17 发布
最新推荐文章于 2023-03-20 19:46:17 发布
阅读量963 收藏 1
点赞数 3
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/newworld123made/article/details/103493506
版权
这篇论文介绍了无监督深度学习的一种新方法——通过邻居发现。它改进了非参数实例判别，增加了正样本数量并应用了课程学习策略选择AN。实验表明，这种方法在效果上优于实例学习，但可能不如deepcluster。
摘要由CSDN通过智能技术生成

Unsupervised Deep Learning by Neighbourhood Discovery

论文的idea

Unsupervised Feature Learning via Non-Parametric Instance Discrimination提出将每一个sample看作一个instance，这样便可以learn出比较好的结果。这样即便是类别一致的instance也要被强制分开。但是其实这篇文章已经设置了softmax with temprature 来使得监督信号不必要太强来保留一部分inter-instance relation。ICML2019的Unsupervised Deep Learning by Neighbourhood Discovery希望显示地来发掘neighbourhood 使得在一个局部（论文中的AN）尽量class consistent。而相对于Non-Parametric Instance Discrimination这篇文章进行了一些改动。将positive samples增加了neighbough内的样本，而这些样本的产生也很简单，直接KNN产生K个样本点。
在这里插入图片描述
在这里插入图片描述
所以loss function中的正样本概率增加到了 N K \mathcal{N}_K

最低0.47元/天 解锁文章
MAth-------
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
16、【李宏毅机器学习（2017）】Unsupervised Learning: Deep Auto-encoder（无监督学习：深度自动编码器）
Jimmyzqb的博客
08-29 4461
本篇博客将介绍无监督学习算法中的 Deep Auto-encoder。 目录 Deep Auto-encoder Deep Auto-encoder的降维作用 Auto-encoder – Text Retrieval Auto- encoder for CNN Auto-encoder – Pre-training DNN Decoder Deep Auto-encode...
UDT：Unsupervised Deep Tracking
萤火虫啊飞呀飞
05-13 832
摘要 本文提出将无监督学习应用到目标跟踪领域，也就是使用无标注的视频序列训练跟踪器。基于【一个鲁棒的跟踪器应该通过前向传播能预测下一帧目标位置，同时从下一帧目标位置反向传播能准确回到目标初始位置】的理论，本文采用无监督学习来训练Siamese网络框架，通过多帧验证和一个损失敏感函数来改进训练过程，提高训练的跟踪器的准确性。 背景 本文的动机：跟踪的准确性可以通过前向传播和反向传播来验证。一般情况下，目标跟踪是给定目标在初始帧的bbox，然后根据初始帧目标的bbox前向传播，预测后续帧中目标的bbox。如果采
Unsupervised_Deep_Learning_in_Python
04-09
Master Data Science and Machine Learning with Modern Neural Networks written in Python and Theano
李宏毅-DeepLearning-2017-Unsupervised Learning:Deep Auto-encoder
zjguilai的博客
05-22 351
Auto-encoder使用神经网络进行降维。由于这里是无监督学习，因此encoder的训练过程需要采用decoder同时进行训练，如下图所示。这与PCA的过程类似，首先通过输入的图片，乘以矩阵W，得到降维后的数据，然后对于降维数据乘以前述矩阵的转置，可以得到预测的输出图片。 auto-encoder就是比PCA多加了几个Hidden layer 结果对比： auto-encoder的结果较...
深度学习(十) Unsupervised Learning 理论部分
AliForever2020的博客
08-29 723
本文根据李宏毅老师的非监督学习课程总结出来的文章
DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
09-03
DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
机器学习 -- Unsupervised Learning: Deep Auto-encoder
01-30
Unsupervised Learning: Deep Auto-encoder Auto-encoder Deep Auto-encoder Auto-encoder – Text Retrieval Auto-encoder – Similar Image Search Auto-encoder for CNN CNN -Unpooling CNN - Deconvolution
Deep Transfer Network: Unsupervised Domain Adaptation
02-09
Deep Transfer Network: Unsupervised Domain Adaptation
Unsupervised Deep Transfer Feature Learning for Medical Image Classification
07-01
Unsupervised Deep Transfer Feature Learning for Medical Image Classification Unsupervised Deep Transfer Feature Learning for Medical Image Classification Unsupervised Deep Transfer Feature Learning ...
deep learning经典论文30篇
10-16
首先，"Why Does Unsupervised Pre-training Help Deep Learning.pdf"探讨了无监督预训练在深度学习中的作用。在深度神经网络中，预训练可以帮助模型在没有标签的数据上初始化权重，从而改善模型的泛化能力，减少过...
10-Deep Unsupervised Network
Ph8_0的博客
08-01 205
Linear Autoencoder the optimal linear autocoder: projection to the principal subspace, is same as the result from SVD decoder is the transpose of encoder If the data points are too much, then SVD m...
论文笔记《Unsupervised Deep Tracking》
论文学习笔记-《Fast Online Object Tracking and Segmentation- A Unifying Approach》
04-21 3736
文章目录参考摘要 参考 摘要
DeepTag: An Unsupervised Deep Learning Method for Motion Tracking on Cardiac Tagging Magnetic Resona
qq_41322802的博客
09-13 352
0.前提知识介绍 tagging images 应该是一种新的成像方式 t-MRI的介绍大家有兴趣 的可以自己看，不是我的相关研究方向我选择放弃 然后传统成像不能较好的反映心肌的运动 但是t-MRI 可以。其次就是这个东西还目前停留在科研阶段。 1.贡献与模型 1.通过 bi-directional generative diffeomorphic registration neural network 估计 t-MRI的运动场 2.通过上述结果估计拉格朗日运动场 但是实话实话 上面的东西我都不懂，下面
Unsupervised Learning: Deep Auto-encoder
sun_sunnybei的博客
01-12 535
Auto-encoder 它的思想是，找一个encoder，比如input一张image，经过encoder，output一个code，它的维度要远比input小，那这个code就代表了这个input某种精简的有效的representation。 但是现在问题是非监督的，我们可以找到一堆input但是不知道output是什么，那我们可以先learn一个decoder，它可以input一
UDT(【CVPR2019】Unsupervised Deep Tracking无监督目标跟踪) 
Leo_whj的博客
03-07 1959
UDT是中科大、腾讯AI lab和上交的研究者提出的无监督目标跟踪算法。仔细阅读过这篇文章之后，写下一篇paper reading加深印象。 论文标题：Unsupervised Deep Tracking 论文地址：https://arxiv.org/pdf/1904.01828.pdf Github(pytorch)：https://github.com/594422814/UDT_pyt...
19.Unsupervised Learning-Neighbor Embedding
xjtuse123的博客
05-27 248
之前在PCA中介绍了线性降维的方法，今天讲述neighbor embedding，即非线性降维的方法。降维凭借的是data point 和data point之间的关系，在降维前的空间中每一个点和它的邻居之间的关系来做降维，也叫做manifold learning。 Manifold Learning 我们要做的是非线性的降维，data是分布在低维空间里面，只是被扭...
Unsupervised Deep Learning – ICLR 2017 Discoveries
weixin_33798152的博客
11-08 150
Unsupervised Learning Using Generative Adversarial Training And Clustering– Authors: Vittal Premachandran, Alan L. Yuille An Information-Theoretic Framework for Fast and Rob...
Unsupervised Feature Learning via Non-Parametric Instance Discrimination
junjian Li
12-13 693
论文地址：Unsupervised Feature Learning via Non-Parametric Instance Discrimination github代码:NCE代码 摘要: 在有标签数据上训练的神经网络分类器能够很好的捕捉图片间的视觉相似性。文章假设：我们能通过训练基于实例（将每一个样本视为单独的类别）的分类器代替基于类别的分类器，得到可以捕捉视觉相似性的特征表达。我们将其总结...
【论文阅读笔记】Unsupervised Feature Learning via Non-Parametric Instance Discrimination
fredrickwood的博客
03-20 258
有监督分类器在分类时，会自动捕获类别的视觉相似性。因此，这篇工作的motivation是，这一特性能否扩展到无监督学习上。具体采用的方法就是instance discrimination任务。作者将这个模型称为“NPID”，即非参数instance discrimination。噪声对比估计则是广泛应用的NCE。在无监督 & 半监督上都表现很好（后续的对比学习研究也同时提出无监督和半监督的版本）。
how to learn deep learning
最新发布
03-31
1. Learn the basics of machine learning: Before diving into deep learning, it is essential to understand the basics of machine learning, including supervised and unsupervised learning, regression, ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值