DWBI_mlgroup-CSDN博客

原创 Semi-Supervised Learning via Weight-aware Distillation under Class Distribution Mismatch

与传统的半监督学习不同，在类别分布不匹配下的半监督学习中，未标记的数据包含许多在标记数据中未见过的未知类别。在这种类别不匹配情况下，由于未知类别样本对目标分类器的有害入侵，传统的半监督学习方法的性能被严重损害。本文通过严格的数学推理，揭示了在类别分布不匹配情况下的半监督学习误差(SSL error)由伪标记误差(pseudo-labeling error)和入侵误差(invasion error)组成，二者共同限制了半监督学习的总体风险。

2023-10-17 21:09:18 316

原创基于表征增强的超类学习 Superclass Learning with Representation Enhancement

在很多真实的场景下，图像类别的划分准则往往由人类的认知决定，而非图像本身的特征。本文将这种问题定义为“超类问题”（Superclass Learning），分析了在超类问题下传统方法所面临的特征提取方面的挑战，并提出了针对这一问题的模型SCLRE。我们使用自注意力机制与监督对比学习相结合，对表征进行增强，并最终得到能表达超类概念的新表征。在实验上，我们在多个数据集上验证了SCLRE的优异性能。在理论上，我们将对比学习的泛化误差拓展到了超类任务中，并证明了它的上界。

2023-03-09 18:48:35 375

原创类分布不匹配下的主动学习 Contrastive Coding for Active Learning under Class Distribution Mismatch

本文主要介绍我们被ICCV2021接收的一篇文章：Contrastive Coding for Active Learning under Class Distribution Mismatch。代码已经在Github上面开源：链接。**（太长不看版）**本文研究了一种在类分布不匹配的现实场景下的主动学习方法：通过对比学习提取语义和价值特征，并将它们组合在查询策略中，以选择同类别分布下的信息量最大的样例。我们指出了传统的主动学习策略在该场景下的一大缺陷在于分类器性能骤降，其症结在于该策略查询了大量不同类别

2021-09-13 06:57:09 819

原创 [小样本学习] 论文笔记 Learning to Self-Train for Semi-Supervised Few-Shot Classification

学习自我训练的半监督小样本分类Li-nips2019-LST-Learning to Self-Train for Semi-Supervised Few-Shot Classification摘要作者提出了一种新颖的半监督元学习方法：学习自我训练（简称 LST）。这种方法利用无标签数据，特别是学习如何择优挑选和标记这些无标签数据，以进一步提高性能。对于每个小样本任务，训练一个小样本模型来预测无标签数据的伪标签，然后对有标签和伪标签数据的自训练步骤进行迭代，每一步都进行调优。还学习了一个软权重网络（简

2020-09-27 09:36:00 1430

原创 [小样本学习] 论文阅读笔记 [ICLR 2018] META-LEARNING FOR SEMI-SUPERVISED FEW-SHOT CLASSIFICATION

半监督小样本分类的元学习论文原文链接：https://arxiv.org/abs/1803.00676摘要在小样本分类中，人们感兴趣的学习算法是，仅根据少量带标记样例训练分类器的算法。元学习是近年来小样本分类研究的一大特色，元学习定义了一个学习算法的参数化模型，并在代表不同分类问题的片段上进行训练，每个片段都有一个小的带标记训练集和相应的测试集。本文中，作者将这种小样本分类模式推进到一个新场景中，在这个新场景中，每个片段也可以使用未标记的样例。作者考虑了两种情况：第一种情况是，假设所有未标记样例都与本

2020-09-15 15:32:23 364

原创 [小样本学习]论文笔记 Prototypical Networks for Few-shot Learning

小样本学习的原型网络论文原文链接：https://arxiv.org/abs/1703.05175摘要作者提出了一种小样本分类问题的原型网络，在这种网络中，分类器必须推广到训练集中没有的新类别，每个新类别只有少量样例。该原型网络学习一个度量空间，通过计算每个类的原型表示的距离进行分类。与最近的小样本学习方法相比，该方法反映出更简单的归纳偏好，这有益于这种有限数据的状况，因此取得了出色的效果。作者给出的分析表明，某些简单的设计决定能够产生实质的改进，超过了最近的方法，包括复杂的架构选择和元学习。作者把该

2020-09-06 08:05:23 467

原创论文阅读笔记 Meta-Learning for Batch Mode Active Learning

batch 模式主动学习的元学习方法摘要什么是 batch 模式主动学习？挑选一批样例，立刻标注用于训练。优点：最符合逻辑。不必等整个挑选过程完成后，再训练。而是边挑选，边训练。能够最高效地利用人力进行标注。本文的工作是，利用元学习来学习主动学习算法，在一个小训练集上，挑选一组最佳样例（未标注）来标注加入训练。实验结果表明，本文提出的主动学习算法比传统的启发式方法更好。所构建的带标签训练集，能更好地改善分类器。本文的缺点是没有提供源代码。1 引言主动学习方法的主流

2020-08-21 18:28:17 365

原创论文阅读笔记-CVPR 2020: Attentive Weights Generation for Few Shot Learning via Information Maximization

摘要题目：通过信息最大化实现小样本学习的注意力权重生成论文的主要贡献有两个：生成的权重与输入数据之间的互信息最大化使得生成的权重能够保留小样本学习任务和特定查询样例的信息。两条注意力路径：自我注意和交叉注意对小样本学习任务的上下文和个性化查询进行编码论文写作框架简介相关工作2.1. 小样本学习2.2. 注意力机制2.3. 互信息提出的方法3.1. 问题的形式化定义3.2. 潜在的特征向量优化3.3. 权重生成的信息最大化3.4. 注意力权重生成3.4.1 上下文和注

2020-08-06 01:01:28 1706

原创【主动学习论文】Bayesian Generative Active Deep Learning，ICML 2019

Bayesian Generative Active Deep Learning一、解决的问题二、模型的框架：BALD挑选策略+VAE-ACGAN生成网络（1）Bayesian Active Learning by Disagreement（2）变分自编码器 (VAE, Variational Auto Encoder)（3）ACGAN（Auxiliary Classifier Generative Adversarial Network）（4）Bayesian Generative Active Deep

2020-07-28 22:19:55 598

原创【主动学习论文】Learning Loss for Active Learning, CVPR 2019

目录导引Learning Loss for Active Learning1 Abstract2 Contributions3 Method3.1 Overview3.2 Loss Prediction Module3.3 Learning Loss4 Evaluation4.1 Image Classification4.2 Object Detection4.3 Human Pose Estimation参考文献Learning Loss for Active Learning原文传送《Learni

2020-07-28 19:08:32 1020

DWBI_mlgroup的博客