弱监督
文章平均质量分 92
饮冰l
这个作者很懒,什么都没留下…
展开
-
论文笔记:KDD 2020 Adaptive Graph Encoder for Attributed Graph Embedding
前言属性图嵌入,具体来说就是通过图数据结构中的拓扑关系和节点特征信息完成节点表示学习的过程。其中属性图的具体指的就是节点的特征信息。作者首先分析了现有的基于 GCN 的属性图嵌入方法的三个缺点,分别是:图卷积滤波器与权矩阵的纠缠不仅会影响性能,而且会影响鲁棒性这些方法中的图卷积滤波器是广义拉普拉斯平滑滤波器的特殊情况,但它们并不保留最优低通特性。现有算法的训练目标通常是恢复邻接矩阵或特征矩阵(通过自动编码器框架),这与实际应用并不总是一致的。因此,作者提出了一种自适应的图编码方法 Adapti原创 2021-03-18 16:57:56 · 2024 阅读 · 0 评论 -
论文笔记:NIPS 2020 Graph Contrastive Learning with Augmentations
前言本文主要提出在图对比学习大框架下的图数据增强的若干方法。概括来说,本文提出了一种图对比学习框架来无监督的完成图表示学习,首先作者提出了基于各种先验信息的四种图数据增强方法。然后,作者分析了在四种不同的图数据增强条件下,不同组合对多个数据集的影响:半监督、无监督、迁移学习以及对抗性攻击。作者为 GNN 的预训练提出了基于图数据增强的对比学习框架来解决图中数据异质性的挑战,本文的主要贡献如下:作者提出了四种图数据增强的方法,并且四种方法对图数据施加一定的先验性,并对范围和模式进行参数化。作者提出原创 2021-02-17 10:37:59 · 1377 阅读 · 0 评论 -
论文笔记:ICLR 2019 Deep Graph Infomax
前言论文链接:https://arxiv.org/abs/1809.10341github:https://github.com/PetarV-/DGI之前的大部分图节点表示学习方法属于半监督学习例如经典的GCN,本文的主要创新是提出了一种无监督一般化的图节点表示学习方法。DGI依赖于最大限度地扩大图增强表示和目前提取到的图信息之间的互信息——两者都是使用已建立的图卷积网络体系结构导出的。对于图增强表示,是根据感兴趣节点所生成的子图,因此可以用于下游节点的表示学习任务。相较于之前对于 GCN 的无监原创 2021-02-13 12:20:40 · 1316 阅读 · 1 评论 -
一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)
1. 机器学习学习任务1.1 监督学习根据输入-输出样本对L={(x1,y1),⋅⋅⋅,(xl,yl)}L=\{(x1,y1),···,(xl,yl)\}L={(x1,y1),⋅⋅⋅,(xl,yl)}学习输入到输出的映射f:X−>Yf:X->Yf:X−>Y,来预测测试样例的输出值。SL包括分类(Classification)和回归(Regression)两类任务,分类中的样例xi∈Rmx_i∈R^mxi∈Rm(输入空间),类标签yi∈{c1,c2,⋅⋅⋅,cc}y_i∈\{c_1,c原创 2020-05-30 22:54:16 · 48914 阅读 · 4 评论 -
弱监督学习--半监督学习(5):UNSUPERVISED DATA AUGMENTATION FOR CONSISTENCY TRAINING
前言UDA 在19年刚被提出来时,吸引了一大波关注,主要原因有两个:效果足够惊人。在 CV 上,超越了包括 MixMatch 在内的一众半监督学习框架,成为新的 SOTA 技术。在文本分类问题上,仅用20条有标签数据,就超过了有监督学习下采用2.5万完整标签集的情况。Google 出品。本文提出了一种基于无监督数据的数据增强方式UDA(Unsupervised Data Augmentation)。UDA方法生成无监督数据与原始无监督数据具备分布的一致性,而以前的方法通常只是应用高斯噪声和dro原创 2020-05-26 20:12:47 · 2674 阅读 · 0 评论 -
弱监督学习--半监督学习(4):MixMatch: A Holistic Approach to Semi-Supervised Learning
前言2019 年,Google 的研究团队提出了半监督学习技术MixMatch。MixMatch 可以认为是近几年半监督学习技术的集大成者,融入了Consistency Regulation、伪标签思想、entropy regularization 以及 MixUp 技术,最终实现了显著优于之前半监督学习技术的效果。目前半监督学习的几种方法:一个是熵最小化,也就是说,尽可能让模型对无标签样本的预测置信度高;另外一个是,连续性,当样本出现扰动的时候,模型的输出还是非常的 robust;还有一个是泛化能力,原创 2020-05-25 15:13:41 · 1974 阅读 · 0 评论 -
弱监督学习--半监督学习(3):Mean teachers are better role models
前言论文链接:https://arxiv.org/pdf/1703.01780.pdfgithub:https://github.com/CuriousAI/mean-teacherMean Teacher 模型是由芬兰的一家AI初创公司在2018年提出,该模型是在 Temporal ensembling Model 的基础上发展而来,其核心出发点仍然是一致性正则。希望使用利用未标记数据的正则化方法,有效减少在半监督学习中的过度适应。Mean Teacher 模型主要想解决 Temporal ens原创 2020-05-23 14:32:00 · 5837 阅读 · 0 评论 -
弱监督学习--半监督学习(2):VAT:Virtual Adversarial Training
前言在 Temporal ensembling Model 被提出的同年,日本的研究人员从对抗训练的角度出发,提出了 VAT 算法。这一算法的出发点与 Temporal ensembling Model 基本一致,即模型所描述的系统应该是光滑的,因此当输入数据发生微小变化时,模型的输出也应是微小变化,进而其预测的标签也近似不变。VAT 与 Temporal ensembling Model 的不同之处在于,后者采用数据增强、dropout 来对无标签数据施加噪声,而前者施加的则是模型变化最陡峭方向上的噪原创 2020-05-21 21:59:25 · 2092 阅读 · 0 评论 -
弱监督学习--半监督学习(1):Temporal Ensembling for Semi-Supervised Learning
前言在这算是开个坑,之后会陆续介绍弱监督学习大领域下半监督学习近年来的经典方法。为后续研究学习提供思路1.半监督学习1.1什么是半监督学习半监督学习介于监督学习与无监督学习之间。一般而言,半监督学习的任务与监督学习一致,任务中包含有明确的目标,如分类。而所采用的数据既包括有标签的数据,也包括无标签的数据。简单理解,可以认为半监督学习就是同时运用了标签数据和无标签数据来进行训练的监督学习。当然,在另外一些研究中,带有约束限制的无监督学习也被视为半监督学习,例如受限的聚类算法。从半监督学习与监督学习原创 2020-05-16 13:38:14 · 4932 阅读 · 2 评论 -
弱监督学习入门
确定之后的研究方向为弱监督学习,找到了这篇弱监督学习入门的文章,真的是梳理的很清楚。作者在文中也说相比于论文这篇文章更像是综述索引,可以以此为根据进行后续的学习(以下为自己对文章各个模块的理解非翻译)论文链接–Abstract 机器学习尤其是深度学习的方法已经发展的非常成功,但是大部分的模型都极度依赖与庞大的...原创 2020-03-21 20:35:50 · 1358 阅读 · 0 评论