- 博客(23)
- 收藏
- 关注
RSS订阅
原创 自监督学习（二十一）Barlow Twins: Self-Supervised Learning via Redundancy Reduction
Barlow Twins: Self-Supervised Learning via Redundancy ReductionIntroductionIntroduction本文是由Facebook AI团队做的自监督学习的工作，作者包含Yann LeCun和Ishan Misra等大佬，论文地址如下：原文地址。本文的方法比较简单，一定程序上和openAI之前的CLIP有点神似。该方法不需要区分正负样本，输入的数据为图像经过变换之后得到的不同增广数据AAA和BBB，作者认为网络对AAA和BBB提取得到
2021-05-16 12:26:38
3218
4
原创 自监督学习（二十）Self-Supervised Learning of Pretext-Invariant Representations
Self-Supervised Learning of Pretext-Invariant RepresentationsIntroductionPIRL: Pretext-Invariant Representation LearningOverview of PIRLMemory BankIntroduction在对比学习方法中，决定其性能的关键因素是正负样本选取的合理性，如果样本选取不合理，会导致网络的训练出现震荡，甚至学不到任何的信息。因此，对比学习的方法很多都致力于研究如何获取高质量的正负样本
2021-01-27 15:50:29
2115
1
原创 自监督学习（十九）：对比学习方法综述
A SURVEY ON CONTRASTIVE SELF-SUPERVISED LEARNINGIntroductionArchitecturesIntroduction这里我们介绍一篇对比学习的综述文章。对比学习是最近非常热门的自监督表示学习方法，在很多的下游任务上都达到或超过了ImageNet预训练的效果。本文比较系统地总结了目前对比学习的几个常用的方法。文章地址：https://arxiv.org/abs/2011.00362。在之前我们介绍的自监督表示学习方法中，pretext task的设计
2021-01-25 21:31:23
1988
原创 自监督学习（十八）Contrastive Learning with Stronger Argumetations
Contrastive Learning with Stronger ArgumetationsIntroductionMethodExperimentsLinear Classification on ImageNetTransfer learning results on various downstream tasksConclusionIntroduction本文目前是放在ICLR2021的审稿网站，还没有正式的意见。但是文章的实验效果非常强，超过了之前一众的contrastive方法，并且已经
2020-10-12 14:07:05
1549
原创 自监督学习（十七）A critical analysis of self-supervision, or what we can learn from a single image
A critical analysis of self-supervision, or what we can learn from a single imageIntroductionMethodExperimentsIntroduction本文出自牛津大学视觉几何组（Visual Geometry Group），作者在文中对现在的自监督学习方法能否有效学习到图像的特征表示了怀疑。为此，作者设计了相应的实验，发现对于网络的底层特征，即使只用一张图也可以学习地不错，但是对于高层特征，即使使用百万张图也无
2020-08-25 21:10:22
822
原创 论文笔记（一）YOLO系列：v1，v2，v3，v4
YOLO系列介绍介绍YOLOv1总体思路Unified Detection网络结构损失函数介绍本篇博客将对目标检测发展过程中的经典算法：YOLO系列算法进行介绍。目标检测是计算机视觉中的经典任务，最开始针对的目标主要是人脸，之后开始关注其他的目标，这其中，诞生了很多经典的方法，比如深度学习提出来之前的DPM方法。以及使用深度学习的RCNN系列方法和YOLO系列方法等。这其中，YOLO方法可以说的上是比较另类的方法，YOLO方法刚提出来的时候，方法非常的简单粗暴，是典型的暴力美学方法，笔者也是从看了YOL
2020-06-16 18:21:50
2288
原创 自监督学习（十六）Transitive Invariance for Self-supervised Visual Representation Learning
Transitive Invariance for Self-supervised Visual Representation LearningIntroductionMethodInter-instance Edges via ClusteringIntra-instance Edges via TrackingLearning with Transitions in the GraphExperimentsIntroduction这篇文章的作者就包括何凯明，文章的思路和Contrast Loss的思
2020-06-14 00:20:50
832
原创 自监督学习（十五）Multi-task Self-Supervised Visual Learning
Multi-task Self-Supervised Visual LearningIntroductionMethodSelf-Supervised TasksArchitecturesExperimentsComparing individual selfsupervision tasksmultitask combination of selfsupervision tasksConclusionIntroduction这篇文章由DeepMind团队和VGG团队联手打造，作者包括大牛Zisserm
2020-05-25 22:27:08
1882
原创 自监督学习（十四）DeepPermNet: Visual Permutation Learning
DeepPermNet: Visual Permutation LearningIntroductionMethodTaskModelInferenceExperimentsConclusionIntroduction之前在博客自监督学习（十）Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles中介绍了使用拼图作为pretext task的方法，作者是把拼图游戏转化为一个分类的任务。在本篇论文中，作者采用了类似
2020-05-24 22:02:17
1003
原创 自监督学习（十三）Split-Brain Autoencoders: Unsupervised Learning by Cross-Channel Prediction
Split-Brain Autoencoders: Unsupervised Learning by Cross-Channel PredictionIntroductionMethodCross Channel EncodersSplit-Brain Autoencoders as Aggregated Cross Channel EncodersExperimentsImageNet ClassificationPlace ClassificationPascal VOC 07ConclusionIn
2020-05-23 21:47:59
2034
原创 自监督学习（十二）Unsupervised Learning by Predicting Noise
Unsupervised Learning by Predicting NoiseIntroductionMethodExperimentsImageNet ClassificationVOC07 Classification and DetectionConclusionIntroduction本文采用了一种全新的方法，实现自监督学习，作为称其为Noise as Target，顾名思义，就是把噪声当做目标。作者选取部分目标特征作为训练的基准，是网络提取的特征尽量向这些特征对齐。论文地址Method
2020-05-13 20:32:50
987
原创 自监督学习（十一）Unsupervised Visual Representation Learning by Graph-based Consistent Constraints
Unsupervised Visual Representation Learningby Graph-based Consistent ConstraintsIntroductionUnsupervised Constraint MiningPositive constraint miningby Graph-based Consistent Constraints)Introduction这篇文章的思路和方法很有趣。在之前我们介绍的自监督学习方法中，有一些是利用聚类方法对网络进行约束，这些方法都
2020-05-11 23:36:17
677
原创 自监督学习（十）Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles
Unsupervised Learning of Visual Representations by Solving Jigsaw PuzzlesIntroductionMethod排列选择prevent shortcutsExperimentsResults on Pascal VOC07Results ImageNet ClassificationAblation StudiesConclusionsIntroduction本文使用拼图游戏作为自监督学习的pretext task，取图像中的某一部分
2020-05-09 19:22:44
4063
9
原创 自监督学习（九）Colorization as a Proxy Task for Visual Understanding
Colorization as a Proxy Task for Visual UnderstandingIntroductionMethodExperimentsLoss对结果的影响Network architecture 对结果的影响ImageNet pretrainingConslusionIntroduction本文继续介绍将图像上色作为pretext task的自监督学习方法，本文的作者和上一篇博客的作者相同，方法也是上一篇论文的研究。该论文发表在CVPR2017上。 论文主页。本文作者继续
2020-05-08 21:17:47
1347
原创 自监督学习（八）Learning Representations for Automatic Colorization
Learning Representations for Automatic ColorizationIntroductionMethodLossInferenceExperimentsIntroduction本文和上一篇博客中介绍的文章思路相似，也是研究图像的自动上色方法，同时，验证了其在自监督学习上的效果。比较有意思的是，这两篇文章都是发在了ECCV2016上，而且文章思路也有很多相似之处...
2020-05-07 22:26:11
1490
1
原创 自监督学习（七）Colorful Image Colorization
Colorful Image ColorizationIntroductionMethodObjective FunctionClass rebalancingClass Probabilities to Point EstimatesexperimentsEvaluating colorization qualityCross-Channel Encoding as Self-Supervise...
2020-05-06 22:40:35
3602
1
原创 自监督学习（六）Context Encoders: Feature Learning by Inpainting
Context Encoders: Feature Learning by InpaintingIntroductionMethodEncoder-Decoder Pipeline损失函数ExperimentsConclusionIntroduction在这这篇文章中，作者提出了Context Encoders，利用图像修复（Inpainting）的方法，学习图像中的上下文信息。图像是自监督...
2020-05-05 21:43:10
3349
原创 自监督学习（五）Unsupervised Deep Embedding for Clustering Analysis
Unsupervised Deep Embedding for Clustering Analysis
2020-05-04 19:09:21
4484
1
原创 自监督学习（四）Joint Unsupervised Learning of Deep Representations and Image Clusters
Joint Unsupervised Learning of Deep Representations and Image ClustersIntroductionMethodAgglomerative ClusteringLoss FunctionExperimentsImage ClusteringTransferring Learned RepresentationImage Classif...
2020-05-04 01:34:01
2259
原创 自监督学习（三）Unsupervised Visual Representation Learning by Context Prediction
Unsupervised Visual Representation Learning by Context PredictionIntroductionMethodPatch SampleNework ArchitectureAvoiding “trivial” solutionsExperimentsNearest NeighborsObject DetectionAccuracy on th...
2020-05-02 17:44:18
4247
4
原创 自监督学习（二）自监督学习性能概述
Scaling and Benchmarking Self-Supervised Visual Representation Learning介绍介绍
2020-04-30 13:13:06
3128
2
原创 自监督学习（一）自监督学习介绍
自监督学习OverviewWhat is Self-Supervised Learning?Why is Self-Supervised Learning?Some ExamplesUnsupervised Visual Representation Learning by Context PredictionUnsupervised Representation Learning by Pred...
2020-04-28 21:55:02
4420
原创 常用卷积神经网络架构：从LeNet-5到CSPNet
本文将系统地整理目前出现的一些经典的卷积神经网络架构，包括最早的LeNet-5网络结构，到最新的CSPNet（跨阶段局部网络），并对比其在ImageNet数据集上的分类效果。LeNet-5LeNet-5最早由Lecun在1998年提出（LeNet-5论文地址）,是最早的卷积神经网络结构。现在看来，LeNet-5的结构比较简单，由七层组成。LeNet-5虽然简单，但是已经具备了卷积神经网络的基本结构卷积和池化操作，在手写数字识别数据集上取得了非常好的效果。AlexNet虽然LeNet-5是第一个成
2020-10-24 21:41:47
2753
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人