论文学习
被子怪
这个作者很懒,什么都没留下…
展开
-
SNAPSHOT ENSEMBLES快照集成论文翻译
关于论文:SNAPSHOT ENSEMBLES: TRAIN 1, GET M FOR FREE的翻译论文地址论文keras实现事先声明,本人是小白,这篇翻译一开始只是为了自己看论文理解方便,错误的地方,欢迎指正。个人理解:本篇论文在于引入了统一结构的M个模型的集成,以及循环学习速率。观点是局部极小值在一定程度上可以逼近全局最小值。把总的epoch分为M个周期,每个周期的开始,初始化一个...原创 2019-02-26 09:07:07 · 519 阅读 · 0 评论 -
Pay more attention to attention...Sergey Zagoruyko论文解读及代码解释
pay more attention to attention:improving the performance of convolutional neural networks via attention transfer本论文由Sergey Zagoruyko, Nikos Komodakis等人2017年发表在ICLR上,作者提供了一部分代码,我做了注释,放在了github上。作者...原创 2019-04-23 08:54:22 · 4394 阅读 · 6 评论 -
Zero-shot learning via attribute regression and calss prototype rectification论文解读
本论文由Changzhi Luo,2018年发表于IEEE。zero-shot learning问题即是,在训练集中存在seen类和unseen类,在测试时,我们要区分出unseen类,并给出标签。seen类代表那些在训练集中有类原型,也有样本的类。unseen类指那些,只有类原型,或者说,只有语义描述,但是没有真实样本的类。论文创新点:提出了一种类原型修正方法,将seen类和unse...原创 2019-04-23 11:05:44 · 379 阅读 · 0 评论 -
Learning sparse network using target dropout(文末有代码链接)
摘要当神经网络的权值的数量超过了从输入映射到输出需要的权值数量,神经网络会更容易优化。这里暗存了一个两个阶段的学习进程:首先学习一个大的网络,然后删除连接或隐藏的单元。但是,标准的训练并不一定会使得网络易于修剪。于是,我们介绍了一种训练神经网络的方法——target dropout(定向dropout),使其对后续剪枝具有较强的鲁棒性。在计算每次权值更新的梯度之前,定向dropout使用简单的自...原创 2019-07-08 10:55:43 · 957 阅读 · 1 评论