论文
miguemath
数学
展开
-
对抗标签噪音的深度学习方法总结
文章目录1 鲁棒性的损失函数2 鲁棒性的架构3 正则化4 调整损失函数5 样本选择6 元学习7 半监督学习深度学习模型往往需要大量的标记正确的数据,而现实世界的数据集中有8%~38.5%的数据是被污染的。现在的深度学习模型很容易对存在噪音的数据集过拟合,从而使得模型在测试集上的表现较差。现在比较流行的防止模型过拟合的方法:数据增强,权重衰减,dropout, batch normalization等方法并不能很好的解决这一问题。1 鲁棒性的损失函数这类方法通过改编损失函数,使得模型在噪音数据集上训原创 2020-07-31 11:17:27 · 2683 阅读 · 0 评论 -
Few-Shot Learning with Global Class Representations笔记整理
Few-Shot Learning with Global Class Representations笔记整理1 Introduction在小样本学习(Few-Shot Learning, FSL)问题上,对于base classes中的每个类别,我们往往有充足的训练数据;对于那些novel classes中的每个类别,我们只有少量的带标签的数据。FSL旨在利用base calsses中大量的...原创 2020-04-21 12:26:03 · 1054 阅读 · 5 评论 -
Model-Agnostic Meta-Learning for Relation Classification with Limited Supervision论文解读(将元学习应用于自然语言处理)
元学习在图像分类任务上取得了长足的进展,但是在自然语言处理领域却鲜有研究。本文对MAML进行了改编,并将改编后的方法应用于自然语言处理领域的关系分类任务。贡献点提出了应用于自然语言领域中关系分类任务的元学习方法。1 引言关系分类是指判别出两个实体之间存在的关系,它的下游有许多人工智能应用,包括问答,知识库和网络搜索。长期以来进行关系分类任务上的方法都依赖于大量的标记数据,但是很多时候标...原创 2020-04-11 11:33:12 · 593 阅读 · 0 评论 -
Meta-Transfer Learning for Few-Shot Learning 元迁移学习论文解读
我之前写过一篇元迁移学习的论文笔记,一种迁移学习和元学习的集成模型。但是本文的元迁移学习方法完全不同于上一篇论文。Abstract由于深度神经网络容易对小样本过拟合,所以元学习倾向于使用浅层神经网络,但浅层神经网络限制了模型的性能。本文提出了meta-transfer learning(MTL)模型,MTL模型可以采用深层神经网络。其中,meta指的是训练多个任务,transfer指的是为深...原创 2020-04-05 14:06:41 · 4295 阅读 · 1 评论 -
Learning to Learn without Gradient Descent by Gradient Descent论文解析(黑箱优化问题)
本篇论文属于元学习和黑箱函数优化的交叉领域,其中将元学习的思想应用于黑箱函数优化。这篇论文发表于2017年。对于黑箱函数优化方法我了解的不太多,因此本文的不可避免的会有一些理解不到位的地方。想要了解贝叶斯优化和高斯过程的,可以看我翻译的两篇文章:高斯过程是什么?贝叶斯优化如何工作?1 Introduction发展心理学表明婴儿具有多个针对核心知识的分散的系统,通过这些系统,他们可以...原创 2020-03-28 21:50:35 · 1360 阅读 · 0 评论 -
Matching Networks for One Shot Learning论文解读
这篇文章在元学习领域笔记重要,之前一直想读,这次正好有机会就把它给刷了。本篇论文属于小样本学习领域,但是本篇论文中的Matching Networks常被用于与Meta-learning任务中的方法进行比较。这篇论文出自Google DeepMind团队,发表于2016年。1 Motivation人类可以可以通过非常少量的样本学习到一个新的概念,比如一个小孩子看完一张长颈鹿的照片之后就认识了...原创 2020-03-07 16:12:41 · 2824 阅读 · 0 评论 -
MAML模型无关的元学习方法
Notes of MAMLFinn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. In 34th International Conference on Machine Learning, ICML 2017 (Vol. 3...原创 2019-11-17 17:12:31 · 4250 阅读 · 0 评论 -
一种迁移学习和元学习的集成模型
导言本文提出了一种将迁移学习和元学习结合在一起的训练方法。本文是论文A Meta-Learning Approach for Custom Model Training的笔记介绍传统上我们需要很多的训练数据才能训练出一个好的模型。但是在很多任务上,如:自动驾驶,无人机等,我们就需要快速地应对一些未见过的情形。迁移学习通过在其他数据集上的大量训练,然后将其训练出的模型复制到目标任务上,最后在...原创 2020-01-01 00:06:17 · 3063 阅读 · 1 评论 -
Latex ulem包设置下划线删除线强调文本等效果
引言今天在用IEEE的模板写latex的时候,发现了一个问题:由\begin{algorithm}方法生成的伪代码中原本默认应该是斜体的强调部分,发现最后显示时被自动加了下划线。我调了十几分钟也没有找到去除这些下滑线的办法。后来发现只要在\begin{algorithm}和end{algorithm}之间加入\normalem这个命令就可以去除掉下划线了。后来发现这都是\ulem这个语句惹得祸...原创 2019-12-13 20:56:08 · 6387 阅读 · 2 评论 -
LSTM用于元学习-"Learning to learn by gradient descent by gradient descent"-笔记详解
Andrychowicz, Marcin, et al. “Learning to learn by gradient descent by gradient descent.” Advances in neural information processing systems. 2016.文章目录1 简介2 如何对optimizee进行参数更新?3 如何对optimizer进行参数更新?4 实...原创 2019-12-03 21:11:18 · 3847 阅读 · 3 评论 -
NLP中数据集的切割方法研究
NLP中数据集的切割方法研究ACL 2019杰出论文奖: We need to talk about atandard splits获奖理由本文质疑了评估NLP模型性能时公认且广泛运用的方法。本文使用词性标注任务说明了问题。本文建议模型排名应当基于使用随机切割的重复评估方法。摘要自然语言处理领域的标准做法是对数据集按照训练集,验证集和测试集切割,依据在分离出的测试集上的性能来对系...原创 2019-08-28 20:37:15 · 925 阅读 · 0 评论