- 博客(14)
- 收藏
- 关注
RSS订阅原创 RuntimeError: Legacy autograd function with non-static forward method is deprecated
出现在自定义求导函数时。有说是pytorch版本问题，需退到1.3之前。或者按官方建议，在自定义的autorgrad.Function中的forward，backward前加上@staticmethod（似乎不加，按下面所说完成修改也可）在调用时候，不再是实例化func()然后func(x)，而是直接func.apply(x) 即使不加staticmethod，最后也是按静态方法调用的。staticmethod意味着Function不再能使用类内的方法和属性，去掉init()用别的方法..
2020-11-13 17:16:46
2937
7
原创 Anatomy of Catastrophic Forgetting: Hidden Representations and Task Semantics
、2020.6 arxiv，一篇分析灾难遗忘的文章1.Introduction模型在non-stationary的数据分布上学习时，在旧数据上，有性能损失。除continual learning外，灾难性遗忘于多任务学习和标准监督学习中，面对分布偏移和数据增强时也存在。现有的很多方法都只在特定的设定下有效，对灾难性遗忘本身还是缺乏理解。本文贡献：通过使用代表性相似度、层冻结、层重置实验，探究遗忘如何影响网络的隐含表示。深层(靠近输出)是遗忘的主要来源。 使用层级标签结构的CIFAR
2020-09-18 16:37:10
365
原创 论文阅读：Editable Neural Networks
ICLR2020，居然是俄罗斯的经济学学校。文章关注的问题是，如何有效地纠正模型在特定错误上的表现，而不至于影响模型总体性能。本文称其为Editable Training，相当于是一个新问题。(感觉有点类似小样本增量学习？)1.Introduction大部分模型，对单个输入的预测要依赖所有的模型参数，做特定纠正很难不影响模型在其它输入上的性能表现。现有方法是：1.重训练 2.人工缓存（lookup table之类的）本文提出一种Editable Training的方法。2.Rela...
2020-08-05 17:34:07
655
原创 论文阅读：Faster ILOD：Incremental Learning for Object Detectors based on Faster RCNN
目标检测模型Faster RCNN的增量学习方法目前Faster Rcnn的目前唯一增量学习扩展方法，似乎是arxiv的。目标检测的增量学习框架研究很少，一个Fast Rcnn的，一个RetinaNet的1.Introduction
2020-07-26 16:53:11
1031
3
原创 Dropout as an Implicit Gating Mechanism For Continual Learning
Dropout as an Implicit Gating Mechanism For Continual Learning来自CVPR2020 workshop，Deepmind和华盛顿州立大学。搜了下发现此外还有三个华盛顿大学，这是综合排名最低的一个...早有研究发现，dropout后的网络，在类增量学习中，会遗忘地慢一些，然而对此并没有清晰的解释。本文研究了dropout和遗忘的关系，认为dropout相当于一个隐式的门机制，会给网络带来稳定性，这就是防止遗忘的关键。用门机制来做CL的
2020-06-29 16:08:00
484
原创 Teamviewer键盘可用，鼠标不能点击的解决方案
通过键盘win键和tab，进入控制面板→鼠标→硬件→属性→驱动程序→禁用设备，禁用掉原电脑的鼠标设备即可也许别的设备出问题可以类似方法解决
2020-06-28 15:30:30
5542
原创 PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning
PackNet: Adding Multiple Tasks to a Single Network by Iterative PruningUIUC，CVPR2018。相比CPG，只有C部分。迭代剪枝+微调学习新任务。剪枝：weight-magnitude-based : 剪去每层absolute magnitedu最小的，50-75%。只剪当前任务。...
2020-06-09 21:50:20
799
原创 论文阅读：Piggyback: Adapting a Single Network to Multiple Tasks by Learning to Mask Weights
这是将单个网络扩展为多任务的方法，假设一个全连接线性模型，这个模型是已经训练好的，固定的。实数mask ，大小等于; 训练时，固定，训练，其反向传播公式如下： 将用阈值二值化，得任务K的mask ; 推断时...
2020-05-29 21:34:59
1249
1
原创 论文阅读：Task-Free Continual Learning
Task-Free Continual Learning来自CVPR2019，比利时鲁汶大学 。当前continual learning常假设，一次一个任务，所有当前数据可用，之前数据不可用。这个条件现实不常满足。本文提出的系统学习流数据，分布不断变化，不同任务间没有区分。本文方法基于Memory Aware Synapses，提供了以下协议将其转化为online的：何时 更新重要权重 更新时 用哪个数据 如何在更新时 累积权重重要性该模型在以下任务上的实验结果展现了有效性：(自)监督
2020-05-28 00:10:25
1605
原创 Linux下运行python3，出现UnicodeEncodeError: ascii codec cant encode character的解决方案
Linux下运行python3，出现UnicodeEncodeError: 'ascii' codec can't encode character的解决方案:在python代码里 with open(encoding="utf8") 只能解决部分文件读取问题运行shell命令export LANG=“en_US.UTF-8”，可完全解决
2020-05-22 15:40:07
1411
原创 论文阅读：Compacting, Picking and Growing for Unforgetting Continual Learning
Compacting, Picking and Growing for Unforgetting Continual Learning这是2019年的NIPS的文章，来自台湾中央研究院资讯科学研究所。这篇关注深度模型压缩、关键权重选择、渐进网络扩展。呼应标题的压缩、选择、成长。作者提出一个简单的方法，避免遗忘，并且之累积的知识会帮助建立一个更好的模型（比起重新训练来说）。看起来不只是类增量的研究，这也和标题不是incremental learning而是Continual lifelong le
2020-05-16 21:16:47
824
1
原创 论文阅读：IL2M: Class Incremental Learning With Dual Memory
IL2M: Class Incremental Learning With Dual Memory1.简介双记忆的类增量学习2.相关工作3.类增量学习范式4.方法5.实验
2020-05-14 23:58:26
2260
1
原创 李宏毅深度学习HW2 收入预测 (logistic regression)
1.任务内容任务：根据一个人的年龄，工作类型，教育程度等18个特征做一个二分分类——判断其收入是否大于50k。train.csv文件打开如下：训练集（X_train文件中）：32561个人，106（扩展后，见2.1）个特征。这里首先弄清了一个概念——回归：在我们认知（测量）这个世界的时候，我们并不能得到这个世界的全部信息（真值），只能得到这个世界展现出的可被我们观测的部分信息。那么，...
2019-07-11 14:39:17
2201
1
原创 李宏毅深度学习HW1 PM2.5预测（gradient descent)
李宏毅深度学习HW1 PM2.5预测1.任务内容根据前9个小时的空气监测情况预测第10个小时的PM2.5含量，即根据黄色部分内容预测红色处值。训练集：包含台湾丰原地区240天的气象观测资料(取每个月前20天的数据做训练集，12月X20天=240天，每月后10天数据用于测试，对学生不可见)，每天的监测时间点为整时共24个时间节点。每次的检测指标包括CO、NO、PM2.5、PM10，是...
2019-07-01 16:26:03
1702
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人