![](https://img-blog.csdnimg.cn/20200815153247560.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
PaperReading
文章平均质量分 93
学无止境,人生苦短,坚持阅读!阅读打卡,偶尔可能会碰到有意思的论文!
windSeS
消失一段时间。
展开
-
PRN(20220826):Learning to Prompt for Continual Learning (CVPR 2022)[理解不了篇]
Google AI提出来的这个新的可持续学习方法,说是通过增加一个可学习的提示池就能提升模型的可持续学习能力。本人表示很神奇,因为这种方法没有显示地利用历史信息时刻唤醒模型对历史知识的记忆,也没隐式的利用历史信息限制那些对历史知识重要的模型权重的更改。从这个提示池中,我隐约看到了聚类的影子,以为窥探到了方法的基理。用包含提示数据类别的信息与数据状态一起作为输入,能够提升可持续学习的能力。这是一个错误的猜想!!!那妖法到底施在哪儿了呢?......原创 2022-08-29 14:30:24 · 2149 阅读 · 8 评论 -
神经常微分方程——理解篇
1 常微分方程常微分方程只包含单个自变量ttt,未知函数y(t)y(t)y(t)和未知函数的导数y′(t)y'(t)y′(t)的等式,例如:y′(t)=2ty'(t)=2ty′(t)=2t。可以写成如下通用的形式:y(0)=y0;dydt(t)=fθ(t,y(t))(1)y(0)=y_{0}; \frac{dy}{dt}(t)=f_{\theta}(t, y(t)) \tag{1}y(0)=y0;dtdy(t)=fθ(t,y(t))(1)其中,fθ(t,y(t))f_{\theta}(t, y(原创 2022-03-16 21:51:35 · 4019 阅读 · 4 评论 -
EigenGame:将主成份分析(PCA)作为一个博弈游戏
EigenGame由两部分组成,“Eigen”意为特征,也是主成份分析(PCA)方法的核心。而"Game"则意为博弈论,是一种研究理性决策者之间的冲突与合作的数学模型。与本篇博客要介绍的EigenGame相关的论文主要有发表于ICLR2021的《EIGENGAME: PCA AS A NASH EQUILIBRIUM》与arXiv.org上公开预发表的《EigenGame Unloaded When playing games is better than optimizing》。这两篇论文的作者相同。.原创 2021-05-27 15:39:04 · 582 阅读 · 1 评论 -
MLP-Mixer [代码实现(基于MNIST)]
本文基于lucidrains在gitHub上开源的mlp-mixer-pytorch实现mlp-mixer在MNIST数据上的demo。MLP-Mixer: An all-MLP Architecture for Vision[PDF]MLP-Mixer简介和一些想法 [CSDN博客]新坑来了!谷歌提出MLP-Mixer:一种用于视觉的全MLP架构[CSDN博客]lucidrains/mlp-mixer-pytorch [pytorch 实现]lucidrains/mlp-mixer-py.原创 2021-05-24 12:22:29 · 2520 阅读 · 7 评论 -
PRN(20210426):GRAPH-BASED CONTINUAL LEARNING(ICLR2021)
@article{tang2021graph-based, title={Graph-Based Continual Learning}, author={Tang, Binh and Matteson, S. David}, journal={ICLR 2021}, year={2021}}本文还是关于深度学习的灾难性遗忘问题。当前基于经验回放的方法,通过在线维护一个经验回放单元,选择重要的样本,帮助模型回忆历史知识,缓解灾难性遗忘问题。本文在这种解决方法的基础上:1)利用随机图表示样本间原创 2021-04-26 18:51:22 · 512 阅读 · 0 评论 -
PRN(20210426):Online Continual Learning with Maximally Interfered Retrieval
基于回放单元的方法被大量研究证明能够有效缓解深度学习灾难性遗忘问题。基于回放单元方法的有效性取决于选择存储的样本是否有助于帮助避免遗忘。本篇介绍一种新方法,它通过可以预见的参数更新,来判断样本损失值受扰动的大小来选择重要样本。该方法被用于样本生成回放与经验回放两种场景。1. Maximally Interfered Sampling from a Replay Memory首先,介绍经验回放。给定一个标准的目标函数minθL(fθ(Xt),Yt)\min_{\theta}\mathcal{L}.原创 2021-04-26 11:03:27 · 1116 阅读 · 0 评论 -
PRN(20210425):Gradient based sample selection for online continual learning
智能体需要具备不断适应环境的能力,这就使得其必须能够利用当前与环境或其他智能体交互的样本进行在线、增量式学习的能力。深度神经网络被广泛用于作为学习的模型,应用于这样的增量式学习任务时存在灾难性遗忘问题。缓解该问题的一种方法是:利用一个类似于DQN的经验回放单元存储重要的历史样本用来回忆(rehearsal)历史知识,使模型克服(目前还做不到“克服”,个人觉得用“缓解”更合适)灾难性遗忘问题。该方法的核心要点是如何从持续到来的数据中选择合适的样本。对于一个样本可持续的学习任务,数据一般都是在线产生的,无法保.原创 2021-04-25 18:00:54 · 1421 阅读 · 0 评论 -
PRN(20210421):Task-Free Continual Learning
写这篇博客前,我又重新阅读了之前的博客( 利用突触智能实现连续学习|从原理到代码解析(人生好难呀!))的内容,以及文后的那段笔(tu)记(cao)。一直没有放弃关注增量式学习的近况,比如:最近ICLR2021的大会论文公布,我迫不及待的在主页搜索栏中键入incremental learning(检索结果为0篇),continual learning(检索结果为9篇)。文献不算多,准备都粗略过一下,然后挑一些自己感觉不错的精读。但是,这篇博客暂且不涉及ICLR2021,而是关于CVPR2019的一篇论文《T.原创 2021-04-22 18:06:11 · 1977 阅读 · 0 评论 -
PRN(20201012):Improved updating of Euclidean distance maps and Voronoi diagrams
Occupancy Map to Euclidean Distance Maps从空白地图上加入一个障碍物增加一个障碍物再增加一个障碍物从地图上移除一个障碍物重新加入一个新的障碍物补充[*] Lau B , Sprunk C , Burgard W . Improved updating of Euclidean distance maps and Voronoi diagrams[C]// IEEE/RSJ International Conference on Intelligent Robots &原创 2020-10-12 14:24:34 · 1601 阅读 · 0 评论 -
PRN(20200908):Frosting Weights for Better Continual Training
Zhu, Xiaofeng, et al. “Frosting Weights for Better Continual Training.” 2019 18th IEEE International Conference On Machine Learning And Applications (ICMLA). IEEE, 2019.1. 问题背景问题依旧是解决深度学习灾难性遗忘问题,详见深度学习之灾难性遗忘问题与PRN(20200816):A Hierarchical Deep Convolutio原创 2020-09-08 14:49:52 · 620 阅读 · 0 评论 -
PRN(20200816):A Hierarchical Deep Convolutional Neural Network for Incremental Learning [Tree-CNN]
Roy D , Panda P , Roy K . Tree-CNN: A Hierarchical Deep Convolutional Neural Network for Incremental Learning[J]. Neural Networks, 2018.今天阅读的这篇论文的名字有两个版本,分别为Tree-CNN: A Deep Convolutional Neural Network for Lifelong Learning和 Tree-CNN: A Hierarchical Dee原创 2020-08-16 17:13:17 · 1459 阅读 · 5 评论