- 博客(16)
- 收藏
- 关注
RSS订阅原创 一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)
1. 机器学习学习任务1.1 监督学习根据输入-输出样本对L={(x1,y1),⋅⋅⋅,(xl,yl)}L=\{(x1,y1),···,(xl,yl)\}L={(x1,y1),⋅⋅⋅,(xl,yl)}学习输入到输出的映射f:X−>Yf:X->Yf:X−>Y,来预测测试样例的输出值。SL包括分类(Classification)和回归(Regression)两类任务，分类中的样例xi∈Rmx_i∈R^mxi∈Rm(输入空间)，类标签yi∈{c1,c2,⋅⋅⋅,cc}y_i∈\{c_1,c
2020-05-30 22:54:16
55308
4
原创 论文笔记：SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation
前言SegNet 的新颖之处在于解码器对其较低分辨率的输入特征图进行上采样的方式。具体地说，解码器使用了在相应编码器的最大池化步骤中计算的池化索引(记录了最大池化时最大值所在的位置)来执行非线性上采样。这种方法消除了学习上采样的需要。经上采样后的特征图是稀疏的，因此随后使用可训练的卷积核进行卷积操作，生成密集的特征图。我们将我们所提出的架构与广泛采用的 FCN 以及众所周知的 DeepLab-LargeFOV，DeconvNet 架构进行比较。比较的结果揭示了在实现良好的分割性能时所涉及的内存与精度之间的
2020-05-29 20:39:17
797
原创 论文笔记：U-Net: Convolutional Networks for Biomedical Image Segmentation
前言本文提出了一个分割网络——Unet，Unet借鉴了FCN网络，其网络结构包括两个对称部分：前面一部分网络与普通卷积网络相同，使用了3x3的卷积和池化下采样，能够抓住图像中的上下文信息（也即像素间的关系）；后面部分网络则是与前面基本对称，使用的是3x3卷积和上采样，以达到输出图像分割的目的。此外，网络中还用到了特征融合，将前面部分下采样网络的特征与后面上采样部分的特征进行了融合以获得更准确的上下文信息，达到更好的分割效果。论文链接：https://arxiv.org/pdf/1505.04597v1.
2020-05-27 23:20:36
2073
原创 弱监督学习--半监督学习(5)：UNSUPERVISED DATA AUGMENTATION FOR CONSISTENCY TRAINING
前言UDA 在19年刚被提出来时，吸引了一大波关注，主要原因有两个：效果足够惊人。在 CV 上，超越了包括 MixMatch 在内的一众半监督学习框架，成为新的 SOTA 技术。在文本分类问题上，仅用20条有标签数据，就超过了有监督学习下采用2.5万完整标签集的情况。Google 出品。本文提出了一种基于无监督数据的数据增强方式UDA（Unsupervised Data Augmentation）。UDA方法生成无监督数据与原始无监督数据具备分布的一致性，而以前的方法通常只是应用高斯噪声和dro
2020-05-26 20:12:47
2742
原创 弱监督学习--半监督学习(4)：MixMatch: A Holistic Approach to Semi-Supervised Learning
前言2019 年，Google 的研究团队提出了半监督学习技术MixMatch。MixMatch 可以认为是近几年半监督学习技术的集大成者，融入了Consistency Regulation、伪标签思想、entropy regularization 以及 MixUp 技术，最终实现了显著优于之前半监督学习技术的效果。目前半监督学习的几种方法：一个是熵最小化，也就是说，尽可能让模型对无标签样本的预测置信度高；另外一个是，连续性，当样本出现扰动的时候，模型的输出还是非常的 robust；还有一个是泛化能力，
2020-05-25 15:13:41
2085
转载 论文笔记：Fully Convolutional Networks for Semantic Segmentation
前言该篇文章转载于：https://blog.csdn.net/qq_36269513/article/details/80420363此处只作为自己的理解学习的笔记论文链接：https://arxiv.org/pdf/1411.4038.pdfgithub(pytorch)：https://github.com/pochih/FCN-pytorch核心思想该论文包含了当下CNN的三个思潮不含全连接层(fc)的全卷积(fully conv)网络。可适应任意尺寸输入。增大数据尺寸的反卷
2020-05-24 00:15:59
349
原创 弱监督学习--半监督学习(3):Mean teachers are better role models
前言论文链接：https://arxiv.org/pdf/1703.01780.pdfgithub：https://github.com/CuriousAI/mean-teacherMean Teacher 模型是由芬兰的一家AI初创公司在2018年提出，该模型是在 Temporal ensembling Model 的基础上发展而来，其核心出发点仍然是一致性正则。希望使用利用未标记数据的正则化方法，有效减少在半监督学习中的过度适应。Mean Teacher 模型主要想解决 Temporal ens
2020-05-23 14:32:00
6491
转载 YOLOv4(2)-BN改进、网络感受野增强技巧、注意力机制、特征融合技巧
前言此篇文章转载于知乎，系列文章地址：https://zhuanlan.zhihu.com/p/141533907yolov4：YOLOv4: Optimal Speed and Accuracy of Object Detectio论文链接：https://arxiv.org/abs/2004.10934源码链接：https://github.com/AlexeyAB/darknet本文分析各种BN改进、网络感受野增强技巧、注意力机制和特征融合技巧。1 常用归一化手段1.1 BN、GN、IN
2020-05-22 20:37:30
16839
转载 YOLOv4(1)-数据增强和特征增强
前言此篇文章转载于知乎，系列文章地址：https://zhuanlan.zhihu.com/p/139764729yolov4：YOLOv4: Optimal Speed and Accuracy of Object Detectio论文链接：https://arxiv.org/abs/2004.10934源码链接：https://github.com/AlexeyAB/darknet文中将前人的工作主要分为Bag of freebies和Bag of specials，前者是指不会显著影响模型测
2020-05-22 19:34:30
7336
原创 弱监督学习--半监督学习(2):VAT：Virtual Adversarial Training
前言在 Temporal ensembling Model 被提出的同年，日本的研究人员从对抗训练的角度出发，提出了 VAT 算法。这一算法的出发点与 Temporal ensembling Model 基本一致，即模型所描述的系统应该是光滑的，因此当输入数据发生微小变化时，模型的输出也应是微小变化，进而其预测的标签也近似不变。VAT 与 Temporal ensembling Model 的不同之处在于，后者采用数据增强、dropout 来对无标签数据施加噪声，而前者施加的则是模型变化最陡峭方向上的噪
2020-05-21 21:59:25
2184
原创 python setup.py install报错原因汇总
1.‘gcc’ failed with exit status 1Windows环境下手动安装gcc编译器版本不正确或其他原因Window10-MinGW下载安装gcc,g++编译器连接，亲测可用：https://blog.csdn.net/cbb944131226/article/details/829402732.if self.ld_version >= “2.10.90”: TypeError: ‘>=’ not supported between instances of ‘N
2020-05-19 17:47:30
3951
原创 弱监督学习--半监督学习(1):Temporal Ensembling for Semi-Supervised Learning
前言在这算是开个坑，之后会陆续介绍弱监督学习大领域下半监督学习近年来的经典方法。为后续研究学习提供思路1.半监督学习1.1什么是半监督学习半监督学习介于监督学习与无监督学习之间。一般而言，半监督学习的任务与监督学习一致，任务中包含有明确的目标，如分类。而所采用的数据既包括有标签的数据，也包括无标签的数据。简单理解，可以认为半监督学习就是同时运用了标签数据和无标签数据来进行训练的监督学习。当然，在另外一些研究中，带有约束限制的无监督学习也被视为半监督学习，例如受限的聚类算法。从半监督学习与监督学习
2020-05-16 13:38:14
5046
2
原创 词嵌入方法：GloVe模型
前言词向量的表示方法主要有两种代表算法，基于不同的思想：一种是基于全局矩阵分解的方法，如LSA一种是局部上下文窗口的方法，如Mikolov在2013年提出来的CBOW和skip-gram方法但是这两种方法都有各自的缺陷，其中，LSA虽然有效利用了统计信息，但是在词汇类比方面却很差，而CBOW和skip-gram虽然可以很好地进行词汇类比，但是因为这两种方法是基于一个个局部的上下文窗口方法，因此，没有有效地利用全局的词汇共现统计信息。为了克服全局矩阵分解和局部上下文窗口的缺陷，在2014年，Je
2020-05-11 13:49:05
3434
原创 图注意力网络pyGAT论文代码注解
论文地址：https://arxiv.org/abs/1710.10903代码地址：https://github.com/Diego999/pyGAT由于都使用引文网络cora，大部分的工作类似，在这里没有对代码进行详细注解关于数据加载，矩阵正则化，one-hot编码转换部分可以参考https://blog.csdn.net/qq_44015059/article/details/1059...
2020-05-07 11:59:41
2242
原创 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS代码注解
论文地址：https://arxiv.org/abs/1609.02907代码地址：https://gitee.com/lxk_yb/pygcntrain.pyfrom __future__ import divisionfrom __future__ import print_functionimport timeimport argparse # argparse 是pytho...
2020-05-07 11:55:35
932
2
原创 论文笔记：DeepGCNs: Can GCNs Go as Deep as CNNs?
前言GCN与CNN有很多相似之处。GCN的卷积思想也是基于CNN卷积的优秀表现所提出的，。GCN由于其表达形式和卷积方法特殊性，在节点分类任务(引文网络)中，只有简单的3-4层可以把任务完成的很好。但是对于一些其他的的任务，可能浅层的网络模型没有办法很好的处理数据。但是当把GCN的层数增多之后，会出现梯度消失和over-smoothing的问题，与当时CNN的层数加深出现的问题相似，因此自然想到...
2020-05-03 09:59:06
1267
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人