![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
元学习
文章平均质量分 92
miguemath
数学
展开
-
对元学习的一些想法
我从去年年底开始被老板拉入元学习的坑以来(后来发现他是拍脑袋决定的),陆陆续续地也读过十来篇元学习领域的论文了,算是对这个领域有了一定的了解。我原本是打算在剩下的时间里在元学习领域深耕,以希望能有一些还过得去的成果。奈何元学习在解决实际问题时价值实在不大,而我们课题组的工作偏应用,希望算法可以解决实际的问题。元学习现在的应用多存在于计算机视觉领域,在人脸识别等任务上有一些应用。但是我们课题组的研究方向主要是自然语言处理,能应用上元学习的场景实在有限。这是我暂缓元学习研究的原因之一。元学习自MAML提出以原创 2020-06-21 21:28:09 · 733 阅读 · 4 评论 -
Few-Shot Learning with Global Class Representations笔记整理
Few-Shot Learning with Global Class Representations笔记整理1 Introduction在小样本学习(Few-Shot Learning, FSL)问题上,对于base classes中的每个类别,我们往往有充足的训练数据;对于那些novel classes中的每个类别,我们只有少量的带标签的数据。FSL旨在利用base calsses中大量的...原创 2020-04-21 12:26:03 · 1025 阅读 · 5 评论 -
MAML复现实验结果汇总(取最好的情形)
下面是我进行的复现实验的实验结果。除了20-way-N-shot的部分,其他实验结果基本都能对应上。附:MAML模型无关的元学习代码完整复现(Pytorch版)MAML复现全部细节和经验教训(Pytorch)Omniglot数据集5-way-1-shotMAML:98.7±0.4%98.7 \pm 0.4\%98.7±0.4%我的:97.5%97.5\%97.5%20-way-1...原创 2020-04-17 18:23:59 · 2763 阅读 · 19 评论 -
miniImageNet数据集介绍
miniImageNet和omniglot数据集在元学习和小样本学习领域应用广泛,但是网络上鲜有对miniImageNet数据集的介绍,因此在这里我对这个数据集做了一个简要的介绍。ImageNet简介miniImageNet数据集节选自ImageNet数据集。ImageNet是一个非常有名的大型视觉数据集,它的建立旨在促进视觉识别研究。训练ImageNet数据集需要消耗大量的计算资源。Imag...原创 2020-04-15 12:00:37 · 39987 阅读 · 8 评论 -
Model-Agnostic Meta-Learning for Relation Classification with Limited Supervision论文解读(将元学习应用于自然语言处理)
元学习在图像分类任务上取得了长足的进展,但是在自然语言处理领域却鲜有研究。本文对MAML进行了改编,并将改编后的方法应用于自然语言处理领域的关系分类任务。贡献点提出了应用于自然语言领域中关系分类任务的元学习方法。1 引言关系分类是指判别出两个实体之间存在的关系,它的下游有许多人工智能应用,包括问答,知识库和网络搜索。长期以来进行关系分类任务上的方法都依赖于大量的标记数据,但是很多时候标...原创 2020-04-11 11:33:12 · 588 阅读 · 0 评论 -
Meta-Transfer Learning for Few-Shot Learning 元迁移学习论文解读
我之前写过一篇元迁移学习的论文笔记,一种迁移学习和元学习的集成模型。但是本文的元迁移学习方法完全不同于上一篇论文。Abstract由于深度神经网络容易对小样本过拟合,所以元学习倾向于使用浅层神经网络,但浅层神经网络限制了模型的性能。本文提出了meta-transfer learning(MTL)模型,MTL模型可以采用深层神经网络。其中,meta指的是训练多个任务,transfer指的是为深...原创 2020-04-05 14:06:41 · 4200 阅读 · 1 评论 -
Learning to Learn without Gradient Descent by Gradient Descent论文解析(黑箱优化问题)
本篇论文属于元学习和黑箱函数优化的交叉领域,其中将元学习的思想应用于黑箱函数优化。这篇论文发表于2017年。对于黑箱函数优化方法我了解的不太多,因此本文的不可避免的会有一些理解不到位的地方。想要了解贝叶斯优化和高斯过程的,可以看我翻译的两篇文章:高斯过程是什么?贝叶斯优化如何工作?1 Introduction发展心理学表明婴儿具有多个针对核心知识的分散的系统,通过这些系统,他们可以...原创 2020-03-28 21:50:35 · 1338 阅读 · 0 评论 -
Matching Networks for One Shot Learning论文解读
这篇文章在元学习领域笔记重要,之前一直想读,这次正好有机会就把它给刷了。本篇论文属于小样本学习领域,但是本篇论文中的Matching Networks常被用于与Meta-learning任务中的方法进行比较。这篇论文出自Google DeepMind团队,发表于2016年。1 Motivation人类可以可以通过非常少量的样本学习到一个新的概念,比如一个小孩子看完一张长颈鹿的照片之后就认识了...原创 2020-03-07 16:12:41 · 2808 阅读 · 0 评论 -
MAML模型无关的元学习代码完整复现(Pytorch版)
1 引言元学习是今年来新起的一种深度学习任务,它主要是想训练出具有强学习能力的神经网络。元学习领域一开始是一个小众的领域,之前很多年都没有很好的进展,直到Finn, C.在就读博士期间发表了一篇元学习的论文,也就是大名鼎鼎的MAML,它在回归,分类,强化学习三个任务上都达到了当时最好的性能。我曾经在半年前发表过一篇MAML的学习笔记,博文地址点这里。MAML出现之后算是掀起来了一波研究元学习...原创 2020-03-01 19:42:29 · 23774 阅读 · 40 评论 -
一种迁移学习和元学习的集成模型
导言本文提出了一种将迁移学习和元学习结合在一起的训练方法。本文是论文A Meta-Learning Approach for Custom Model Training的笔记介绍传统上我们需要很多的训练数据才能训练出一个好的模型。但是在很多任务上,如:自动驾驶,无人机等,我们就需要快速地应对一些未见过的情形。迁移学习通过在其他数据集上的大量训练,然后将其训练出的模型复制到目标任务上,最后在...原创 2020-01-01 00:06:17 · 3040 阅读 · 1 评论 -
LSTM用于元学习-"Learning to learn by gradient descent by gradient descent"-笔记详解
Andrychowicz, Marcin, et al. “Learning to learn by gradient descent by gradient descent.” Advances in neural information processing systems. 2016.文章目录1 简介2 如何对optimizee进行参数更新?3 如何对optimizer进行参数更新?4 实...原创 2019-12-03 21:11:18 · 3818 阅读 · 3 评论 -
MAML模型无关的元学习方法
Notes of MAMLFinn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. In 34th International Conference on Machine Learning, ICML 2017 (Vol. 3...原创 2019-11-17 17:12:31 · 4212 阅读 · 0 评论