部分翻译:模型压缩,跨域,终生学习,课程学习
CPG延伸
三重极简
之后不更论文的百度翻译了,虽然本意是为了自己查找方便,但太水了,后边有时间会迁移然后删掉的。之后要发也主要是精读的论文及代码。
展开
-
在Bert上利用多域数据继续预训练+多域分类器:Multi-Task Deep Neural Networks for Natural Language Understanding
用于自然语言理解的多任务深度神经网络Abstract1 Introduction2 Tasks3 The Proposed MT-DNN Model3.1 The Training Procedure4 ExperimentsSNLISciTailAbstract在本文中,我们提出了一个多任务深度神经网络(MT-DNN),用于跨多个自然语言理解(NLU)任务的学习反应。MT-DNN不仅利用了大量的跨任务数据,而且还得益于正则化的效果,这种效果导致更一般的表示,以帮助适应翻译 2020-08-03 21:05:34 · 2142 阅读 · 0 评论 -
Bert finetune和压缩的关系研究:Compressing BERT: Studying the Effects of Weight Pruning on Transfer Learning
压缩BERT:研究权值修剪对迁移学习的影响Abstract1 Introduction2 Pruning: Compression, Regularization,Architecture SearchCompressionRegularizationSparse Architecture Search2.1 Magnitude Weight Pruning3 Experimental Setup3.1 Implementing BERT Pruning3.3 Dis翻译 2020-08-01 16:18:15 · 561 阅读 · 0 评论 -
模型蒸馏开山作:Distilling the Knowledge in a Neural Network
在神经网络中蒸馏知识Abstract1 Introduction2 Distillation2.1 Matching logits is a special case of distillation3 Preliminary experiments on MNIST5 Training ensembles of specialists on very big datasets5.1 The JFT dataset5.2 Specialist Models5.3翻译 2020-07-31 18:19:16 · 491 阅读 · 0 评论 -
克服神经网络中的灾难性遗忘(EWC):Overcoming catastrophic forgetting inneural networks
克服神经网络中的灾难性遗忘IntroductionResultsEWC Extends Memory Lifetime for Random PatternsEWC Allows Continual Learning in a Supervised Learning ContextEWC Allows Continual Learning in a Reinforcement Learning ContextDiscussionIntroduction实现人工通用智能要求智能体能够学习和记忆许多不同的翻译 2020-07-30 19:27:19 · 7788 阅读 · 0 评论 -
蒸馏式持续学习:Progress & Compress: A scalable framework for continual learning
Progress&Compress:一个可扩展的持续学习框架Abstract1. Introduction2. The Progress and Compress Framework2.1. Learning a new task2.2. Distillation and knowledge preservation3. Related Work4. Online EWC5. Experiments and ResultsAbstract我们介绍了一个概念上简单且可扩展的框架,用于连续学习领翻译 2020-08-01 11:24:13 · 1928 阅读 · 0 评论 -
根据学习曲线斜率的绝对值自动课程学习:Teacher–Student Curriculum Learning
教师-学生课程学习AbstractI. INTRODUCTIONII. TEACHER–STUDENT SETUPA. Simple POMDP FormulationB. Batch POMDP FormulationC. Optimization CriteriaIII. ALGORITHMSA. Online AlgorithmB. Naive AlgorithmC. Window AlgorithmD. Sampling AlgorithmIV. EXPERIMENTSA. Keylock翻译 2020-07-27 18:08:26 · 1065 阅读 · 0 评论 -
权重掩码单网络多任务:Piggyback: Adapting a Single Network to Multiple Tasks by Learning to Mask Weights
Piggyback:通过学习权重掩码,使单个网络适应多个任务翻译 2020-07-25 18:26:08 · 1269 阅读 · 0 评论 -
迭代剪枝单网络多任务:PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning
通过迭代剪枝向单个网络添加多个任务Abstract1. Introduction3. Approach4. Experiments and ResultsAbstract本文提出了一种在单个深度神经网络中增加多个任务的方法,同时避免了灾难性遗忘。1. Introduction终身或持续学习[1,14,22]是一般人工智能助理的关键要求。在这种情况下,代理需要获得新任务的专业知识,同时保持其在以前学习的任务上的性能,理想情况下不需要为每个单独的任务存储大型的特殊模型。然而,由于与新任务相关的特征翻译 2020-07-25 14:29:22 · 2866 阅读 · 0 评论