![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
半监督学习
文章平均质量分 62
AI强仔
人工智能爱好者、机器人爱好者
展开
-
SentAugment:Self-training数据增强用于NLP
1 简介本文根据2020年《Self-training Improves Pre-training for Natural Language Understanding》翻译总结。自训练(Self-training)是一种半监督学习方法,使用标注数据训练一个好的teacher模型,然后使用该teacher模型对未标注的数据进行标注,最后使用(标注数据和)非标注数据联合训练一个student模型。本文训练student时没有使用原训练集的标注数据,因为实验发现没有明显的效果提升。本文提出一种数据增强方法翻译 2021-08-16 23:01:11 · 392 阅读 · 0 评论 -
监督学习、非监督学习、半监督学习
一、监督学习有标注数据的学习1.迁移学习(Transfer learning)迁移学习(Transfer learning) 顾名思义就是把已训练好的模型(预训练模型)参数迁移到新的模型来帮助新模型训练。是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。通常,源领域数据量充足,而目标领域数据量较小。二、非监督学习无标注数据的学习三、半监督学习既有标注数据、又有非标注数据的学习。1.预训练pretraining在NLP领域,比如BERT,原创 2021-08-12 17:47:08 · 2074 阅读 · 0 评论 -
Noisy Student Training:自训练(Self-training)、半监督学习、teacher和student迭代学习
1 简介本文根据2020年《Self-training with Noisy Student improves ImageNet classification》翻译总结。自训练(Self-training)使用标注数据训练一个好的teacher模型,然后使用该teacher模型对未标注的数据进行标注,最后使用标注数据和非标注数据联合训练一个student模型。如下图所示。本文提出的Noisy Student Training扩展了自训练和蒸馏,即(1)使用一个相等或者更大的student 模型,(2翻译 2021-08-11 23:06:40 · 3746 阅读 · 0 评论