- 博客(1021)
- 资源 (35)
- 收藏
- 关注
原创 2023年终总结(脚踏实地,仰望星空)
2023年,经历非常多的大事情,找工作、实习、研究生毕业、堂哥结婚、大姐买车、申博、读博、参加马拉松,有幸这一年全家人平平安安,在稳步前进。算是折腾的一年,杭州、赣州、武汉、澳门、珠海、遵义来回跑。完成了学业、工作、赚钱、陪家人、旅行、部分书单(12/20)、博客10W粉丝(12W/10W)、提高网球水平的目标。今年是我上大学以来,在家陪家人最长时间的一年了,和家人开心的度过了几个月。在我的世界观里,三件事是我生命中的三大支柱,家庭、爱情和事业,我在专心并且用心做好这三件事。
2024-01-04 20:50:05 2152 1
原创 站在博士生的视角回顾脚踏实地,仰望星空的十三年学习生涯
缘起是高中的好基友,现在在高中当班主任,他让我写一个自己的学习历程,给他们班开一个班会。坐下来,思绪涌上心头,回想过去很多苦很累泪。从小学开始已经读了19年的书了,现在还要4年书要读 ,我一直乐在其中。回想曾经大学兼职,做过社会底层的工作,有做地推、发小广告、和一帮社会小混混一起发传单、上班打过骚扰电话、搬过小黄车、站过街、干过推销,辛苦一天,赚个70左右。这些社会底层的工作,让我知道学习是社会里最简单最有价值的事情了,从未厌倦学习。
2023-09-11 22:58:48 1109 14
原创 2022年终总结(脚踏实地,仰望星空)
2022年焦虑和快乐是这一年中最大的两种情绪了。焦虑主要是因为心里的三块石头,从年初就开始悬着。第一块石头,科研论文录用,第二个石头,拿到国奖,第三个石头是拿到满意的offer。目前只剩下最后一块石头没有落地,今年研三明年六月份毕业,从今年七月份开始都在找工作,各种碰壁,面对各种困难,看到周围的朋友在年末都拿到了心仪的offer,还是很心慌很焦虑的。快乐的原因是,在这一年有很多值得感动、感恩,值得回忆的事情发生。首先是遇到一个心爱的女孩,精神世界有了共鸣,一起出去玩了很多次。
2022-12-26 00:15:25 2699 14
原创 2021的年终总结(仰望星空、脚踏实地)
目录回忆录总结语2022未来期回忆录过去听了很多逆袭的故事,喝了许多的心灵鸡汤,知道了好多让我打鸡血 的方法,准备让自己精力充沛的去迎接新的挑战各种欲望和目标一直的充斥着我的大脑,我想要发论文、我想要赢得比赛、我想要有健硕的身材、我想要拿奖学金、我想要身体健康、我想要经济独立、我想要去自驾旅行、我想生活得更自在。。。然而手机和电脑的陪伴却伴随着各种诱惑不停的向我投来,B站的推荐、知乎的热榜、微博的热搜、王者峡谷的召唤、刺激战场的刚枪。这些廉价而低成本的快乐,让我欲罢不能,我一边排斥,一边真香,我清
2021-12-30 13:04:51 3076 16
原创 回忆我的过去一年2020年考研以及研究生规划
一、启发一天都在优哉游哉的看文献,完全没有写效率,突然在知乎上看到了一篇文章,深刻的触发了我。研究生的开学,怎么与想象中完全不一样啊……突然回忆起过去考研准备的一年,为着自己的一个目标日夜奋斗,从未终止过一天的学习,我无愧自己过去的青春,也对未来充满希望和激情。二、回忆考研一年(多图警告)1.一个不想简单的活着的想法告诉我,必须考研,在 2018年寒假,我大三,和爸妈商量了,寒假我不回去了,留在学校附近住,准备考研。天津的冬天很冷,都是有暖气的,但是暖气不热,我坐在靠近暖气的小桌子边,还须用猫窝捂
2020-08-08 11:55:23 7705 37
原创 【博士每天一篇文献-L2-RCL算法】Fixed Design Analysis of Regularization-Based Continual Learning
年份:2023会议:2023本文研究的是一种基于正则化的持续学习(Continual Learning, CL)算法,特别地,是一种ℓ2-正则化的CL算法。在第一个任务上使用普通最小二乘法(Ordinary Least Squares, OLS)计算参数。在进入第二个任务时,通过引入ℓ2-正则化来计算新的参数,这个正则化项惩罚模型与第一个任务学习到的参数之间的偏差。输出在第二个任务上学习到的参数,同时控制了对第一个任务的遗忘和对新任务的适应性。
2024-12-07 10:02:30 516
原创 【博士每天一篇文献-GEAR算法】2023 IEEE Trans期刊论文Overcoming Catastrophic Forgetting in Continual Learning
年份:2023期刊:本文提出的算法是Genvalues ExplorAtion Regularization-based (GEAR)方法,基于正则化的算法,其核心原理是利用Hessian矩阵的最大特征值来探索先前任务的近似损失函数的几何属性,通过控制计算Hessian矩阵时的数据选择来减少灾难性遗忘。
2024-12-07 09:54:14 711
原创 【博士每天一篇文献-RSOI算法】Regularizing Second-Order Influences for Continual Learning
年份:2023会议:2023CVPR本文提出了一种基于回放的连续学习方法,在传统的回放方法中,选择核心集的贪婪的选择策略(即在每一步只考虑最大化当前效用的选择策略)可能会随着时间的推移而退化。贪婪策略可能会在短期内表现良好,但由于没有考虑到对后续步骤的影响,可能会导致长期的负面效果。为了解决这个问题,本文提出了一种方法来建模和正则化每个选择对未来的影响。这意味着在选择样本时,不仅要考虑它们对当前模型性能的影响,还要考虑它们对未来步骤可能产生的长期影响。
2024-12-07 09:49:52 826
原创 【博士每天一篇文献-MTD算法】2024CVPR顶会论文:Class Incremental Learning with Multi-Teacher Distillation
年份:2024会议:2024CVPR本文提出的算法是“Class Incremental Learning with Multi-Teacher Distillation (MTD)”,其核心原理是通过权重置换、特征扰动和多样性正则化技术来寻找多个具有不同机制的教师模型,以增强对新知识的兼容性并减少灾难性遗忘。该算法属于基于知识蒸馏的类别,因为它通过蒸馏策略将多个教师模型的知识传递给学生模型,以实现类别增量学习。
2024-12-07 09:45:39 677
原创 【博士每天一篇文献-GeoDL算法】On learning the geodesic path for incremental learning
年份:2021会议:2021CVPR本文提出的算法属于基于知识蒸馏的算法。它通过在不同任务之间构建低维流形,并沿着连接这些流形的测地线进行知识蒸馏,以减少在增量学习过程中对旧任务知识遗忘的问题。
2024-12-07 09:43:38 713
原创 【博士每天一篇文献-CE算法】2024ACML会议论文Overcoming catastrophic forgetting with classifier expander
年份:2024会议: 2024本文提出的算法是Classifier Expander(CE),其核心原理是通过两个阶段的训练来克服连续学习中的灾难性遗忘问题。在第一阶段,算法使用知识蒸馏和回放方法限制新任务数据的训练范围,以减少对旧任务的干扰;第二阶段,冻结网络层,只保留输出层,利用所有可用数据重新训练网络,平衡新旧任务的学习性能。本文算法属于基于回放的方法,因为它结合了知识蒸馏(一种基于正则化的技术)和回放技术来增强模型性能。
2024-12-07 09:41:23 236
原创 【博士每天一篇文献-LFD算法】2024IEEE Trans期刊论文Class Incremental Learning with Less Forgetting Direction
年份:2024期刊:提出的算法是一种基于参数正则化的类增量学习(CIL)方法,核心在于通过寻找“较少遗忘方向”(Less Forgetting Direction, LFD)和“平衡点”(Equilibrium Point, EP)来平衡新旧任务之间的关系,减少灾难性遗忘。
2024-12-07 09:36:13 288
原创 【博士每天一篇文献-Aper算法】2024IJCV期刊论文:Revisiting Class-Incremental Learning with Pre-Trained Models
年份:2024期刊:本文算法属于基于预训练模型的类别增量学习算法,它结合了基于架构的方法(通过参数高效调整预训练模型)和基于原型的方法(通过使用原型特征进行分类)。
2024-12-07 09:29:27 683
原创 【博士每天一篇文献-COIL算法】Co-transport for class-incremental learning
年份:2021会议:2021ACM本文提出的算法是CO-transport for class-Incremental Learning (COIL),其核心原理是通过类间语义关系(通过语义映射,将旧类别的分类器映射到新类别的分类器的转换机制)进行跨增量任务的知识传递,关键步骤包括前瞻性传输(Prospective Transport)和回顾性传输(Retrospective Transport)。
2024-12-07 09:24:24 842
原创 【博士每天一篇文献-FeTrIL算法】Feature Translation for Exemplar-Free Class-Incremental Learning
年份:2023会议: 2023CVPR特征回放本文提出的FeTrIL算法原理是通过结合一个固定的特征提取器和一个伪特征生成器来改善类别增量学习中的稳定性和可塑性平衡。关键步骤包括使用固定的特征提取器获取新类别的特征,以及通过几何平移新类别特征来生成过去类别的伪特征,这一过程仅需要存储过去类别的质心表示。
2024-12-07 09:20:42 371
原创 【博士每天一篇文献-SSRE算法】Self Sustaining Representation Expansion for Non-Exemplar Class Incremental Learnin
年份:2022期刊:2022CVPR本文提出了一种用于非样本类增量学习的自维持表示扩展方案,其关键步骤包括动态结构重组策略和主分支蒸馏。动态结构重组策略通过在侧分支中扩展新类的特征学习,同时在主分支中保持旧类特征的稳定;主分支蒸馏则通过在主分支中对新网络与旧特征的不变分布知识进行对齐,以维持对旧类的区分能力。此外,还引入了原型选择机制(从新样本中选择与旧样本最相似的,采用知识蒸馏的方式训练,其他样本采用交叉熵来训练),以减少新旧类特征之间的混淆。本文算法属于基于知识蒸馏的算法。
2024-12-07 09:17:42 641
原创 【博士每天一篇文献-IL2A算法】Class-Incremental Learning via Dual Augmentation
年份:2021期刊:本文提出了一种名为IL2A的类增量学习算法框架,类别增强(classAug)利用样本间插值生成新类别样本以学习更广泛的特征表示,语义增强(semanAug)基于旧类别的统计信息在特征空间中隐式生成新样本以维持决策边界。此外,算法还结合了知识蒸馏(Knowledge Distillation)技术来进一步优化模型性能。
2024-12-07 09:15:17 655
原创 【博士每天一篇文献-RMM算法】RMM: Reinforced Memory Management for Class-Incremental Learning
年份:2021期刊:本文提出了一种名为RMM(Reinforced Memory Management)的动态记忆管理策略(回放+强化学习),该策略利用强化学习优化类增量学习(CIL)中的记忆分配,通过两层级的行动决策来平衡旧类和新类的内存分配,并为每个具体类别分配内存。
2024-12-07 09:07:27 554
原创 【博士每天一篇文献-PASS算法】Prototype Augmentation and Self-Supervision for Incremental Learning
年份:2021会议:2021CVPR本文提出了一种名为PASS(Prototype Augmentation and Self-Supervision for Incremental Learning)的增量学习方法,通过记忆旧类别的类代表性原型(prototype)并进行原型增强(protoAug),结合自监督学习(SSL)来学习更通用和可迁移的特征,以解决深度神经网络在增量学习中面临的灾难性遗忘问题。
2024-12-07 08:35:04 402
原创 【博士每天一篇文献-BiC算法】Large scale incremental learning
年份:2019会议:2019CPVR本文提出的BiC()算法通过在CNN的最后一个全连接层后添加一个线性偏差校正层,并使用小规模验证集来估计和校正偏差,从而有效解决了大规模增量学习中的灾难性遗忘和数据不平衡问题。
2024-12-06 22:34:23 816
原创 【博士每天一篇文献-WA算法】Maintaining Discrimination and Fairness in Class Incremental Learning
年份:2020会议: 2019CPVR本文提出了一种解决类别增量学习中灾难性遗忘问题的算法,通过知识蒸馏(KD)保持旧类之间的区分度,并引入权重对齐(WA)方法校正全连接层中偏差的权重,以维持新旧类别之间的公平性。
2024-12-06 22:32:20 522
原创 【博士每天一篇文献-SAFE算法】2024论文:SAFE: Slow and Fast Parameter-Efficient Tuning for Continual Learning
年份:2024期刊:arXiv本文提出的SAFE(Slow And Fast parameter-Efficient tuning)算法原理是通过结合慢速(S-PET)和快速(F-PET)参数高效调整策略,在预训练模型(PTMs)的基础上进行持续学习,以平衡模型对新知识的适应性(可塑性)和对旧知识的记忆保持。关键步骤包括:1) 在首次会话中通过转移损失函数显式地从PTMs转移通用知识到慢速学习器;
2024-12-06 22:30:48 833
原创 【博士每天一篇文献-WISE算法】2024最新论文WISE: Rethinking the Knowledge Memory for Lifelong Model Editing
年份:2024期刊:本文提出了WISE算法,通过设计双参数记忆方案和知识分片机制,实现了在大型语言模型中长期记忆和工作记忆之间的有效桥接,以解决终身模型编辑中的可靠性、泛化性和局部性不可能三角问题。
2024-12-06 22:28:12 1158
原创 【博士每天一篇文献-神经科学】2024Nature期刊论文:Co-dependent excitatory and inhibitory plasticity accounts for
年份:2024期刊: Nature Neuroscience引用量:14本文提出了一个描述突触可塑性的新框架,该框架强调了不同类型连接间突触共依赖性,解释了抑制性突触如何控制兴奋性突触可塑性,以及邻近突触间的相互作用如何决定长期增强的强度,从而在生物网络中形成快速、稳定且持久的记忆。
2024-12-06 22:24:17 520
原创 【博士每天一篇文献-神经科学】2024Nature期刊论文:Dynamic and selective engrams emerge with memory consolidation
年份:2024期刊:本文通过计算和实验方法研究了记忆巩固过程中记忆印迹(engrams)的动态变化和选择性,发现记忆印迹在巩固过程中会经历神经元的加入和退出,并通过抑制性突触可塑性形成选择性记忆。
2024-12-06 22:22:00 473
原创 【博士每天一篇文献-DGM算法】Learning to Remember:A Synaptic Plasticity Driven Framework for Continual Learning
年份:2019会议:2019CVPR引用量:341本文提出了一种名为动态生成记忆(DGM,生成回放+动态扩展网络结构)的持续学习框架。通过结合真实样本和合成样本的对抗训练,以及通过学习二进制掩码来模拟神经可塑性,从而实现对新任务的学习和对旧任务记忆的保持),DGM算法的核心在于使用神经掩码来模拟神经连接的可塑性,并通过动态网络扩展机制来适应新任务,以在连续学习过程中保持旧知识并有效地整合新知识。
2024-12-06 22:18:24 541
原创 【博士每天一篇文献-LtG算法】 Learn to grow:A continual structure learning framework for overcoming
年份:2019会议:2019PMLR引用量:435本文提出了一个名为“Learn to Grow”的持续学习框架,通过分离神经结构优化和参数学习/微调两个组件,利用可微分的神经架构搜索来显式地为每个连续任务学习最优的神经网络结构,从而有效克服了深度神经网络在持续学习中的灾难性遗忘问题。
2024-12-06 22:10:06 861
原创 【博士每天一篇文献-EPIE-Net框架】Efficient Perturbation Inference and Expandable Network for continual learning
年份:2023期刊:引用量:10本文提出了一种名为EPIE-Net的高效扰动推理和可扩展网络,用于持续学习,通过动态扩展轻量级任务特定解码器来学习新类别,并采用混合标签不确定性策略提高模型的鲁棒性,同时在推理时计算扰动样本的平均概率以提高模型性能。
2024-12-06 22:07:28 749
原创 【博士每天一篇文献-SPG算法】2023PMLR会议论文:Parameter-Level Soft-Masking for Continual Learning
年份:2023期刊:PMLR引用量:20本文提出了一种名为SPG(Soft-masking of Parameter-level Gradient flow)的算法,通过基于梯度的重要性对网络参数进行软掩码,部分阻断参数更新,以平衡新任务学习与旧任务遗忘,实现连续学习中的知识转移和容量问题解决。
2024-12-06 22:04:44 522
原创 【博士每天一篇文献-GeoDL算法】2021CVPR论文:On learning the geodesic path for incremental learning
年份:2021会议:2021CVPR本文提出的算法属于基于知识蒸馏的算法。它通过在不同任务之间构建低维流形,并沿着连接这些流形的测地线进行知识蒸馏,以减少在增量学习过程中对旧任务知识遗忘的问题。
2024-12-06 22:01:10 635
原创 【博士每天一篇文献-MIND算法】2024AAAI会议论文:MIND: Multi-Task Incremental Network Distillation
年份:2024期刊:引用量:3本文介绍了MIND算法,它是一种用于类增量学习的多任务网络蒸馏方法,通过参数隔离和蒸馏技术来提升模型在新任务上的学习性能,同时保留对旧任务的记忆。MIND通过分配子网络来处理单个任务,并在子网络之间共享一部分参数以促进知识转移。MIND利用蒸馏程序将新任务训练的新模型的知识封装并压缩到子网络片段中。
2024-12-06 21:36:18 518
原创 【博士每天一篇文献-GR算法】2024CVPR论文Gradient Reweighting Towards Imbalanced Class Incremental Learning
年份:2024期刊:2024CVPR本文提出的算法原理是通过梯度重权(Gradient Reweighting)来解决类别不平衡的增量学习问题,关键步骤包括在全连接层对梯度进行重新加权以实现平衡优化,并引入分布感知的知识蒸馏损失(Distribution-Aware Knowledge Distillation Loss)来减轻由于训练数据丢失导致的不平衡灾难性遗忘。本文算法属于基于梯度的算法。
2024-12-06 21:32:38 1181
原创 【博士每天一篇文献-Orthog-SUbspace算法】 Continual learning in low-rank orthogonal subspaces
本文提出了一种名为ORTHOG-SUBSPACE的持续学习方法,其核心原理是将不同任务的学习限制在相互正交的低秩子空间中,通过在Stiefel流形上进行优化以保持权重矩阵的正交性,从而减少任务间干扰,实现对先前任务记忆的保护。
2024-12-06 21:16:25 876
原创 【博士每天一篇文献-AOP算法】Adaptive orthogonal projection for batch and online continual learning
年份:2022会议:2022AAAI本文提出了一种名为AOP(Adaptive Orthogonal Projection)的算法,对当前批次的数据,计算输入数据的均值和协方差矩阵,以估计当前批次数据的统计特性,动态计算$ \alpha $值,然后为每个训练批次动态计算一个与旧任务输入空间正交的投影矩阵,以更新网络参数,从而在不干扰已学习任务的情况下学习新任务。
2024-12-06 20:44:34 460
原创 通过torch.utils.data.DataLoader可提高深度学习的10倍运行的速度?
在深度学习的训练过程中,数据加载是一个关键步骤,它直接影响到模型训练的效率。为了提高运行速度,我们通常会采用多种方法,比如数据预处理、多线程加载、缓存策略等。然而,有一个经常被忽视的优化点——调整torch.utils.data.DataLoader中的参数,这可以在某些情况下带来高达10倍的速度提升。
2024-11-29 09:57:06 386
原创 如何将Latex的文章内容快速用word+Endnote排版
Endnote文件是无法直接导入bib文件的。需要将reference.bib的参考文献内容,通过JabRef软件打开并另存为refefence.ris文件导出为ris格式文件。
2024-11-19 14:50:51 368
原创 解决Latex中出现错误”Missing \endcsname inserted;Missing number, treated as zero;Extra \endcsname.
在Latex模板中,使用以下算法过程的部分报错,并且还有很多警告,并且已经使用了\usepackage{algorithm},\usepackage{algorithmicx},\usepackage{algpseudocode}。
2024-10-18 16:34:57 541
原创 【博士每天一篇文献-算法】持续学习之LOGD算法: Layerwise optimization by gradient decomposition for continual learning
本文算法通过梯度分解来利用任务间的信息,将旧任务的梯度分解为所有旧任务共享的部分和特定于该任务的部分,更新梯度应接近新任务的梯度,与所有旧任务共享的梯度一致,并且与旧任务特定的梯度空间正交,从而在不损害任务特定知识的情况下促进共同知识巩固,并通过对每层梯度单独进行优化来避免不同层梯度大小变化的影响。
2024-10-15 11:29:25 883
原创 【博士每天一篇文献-算法】终身学习之A-GEM算法:Efficient lifelong learning with a-gem
本文算法提出了一种改进版的GEM(A-GEM),通过平均化处理提高了学习效率,同时引入了新的评估协议和快速学习新技能的度量方法,并展示了通过提供任务描述符可以进一步提高所有算法的学习速度,实验结果表明A-GEM在准确性和效率之间取得了最佳平衡。
2024-10-15 09:40:24 1137
原创 【博士每天一篇文献-算法】持续学习之GEM算法:Gradient Episodic Memory for Continual Learning
本文提出的算法是Gradient Episodic Memory (GEM),它通过维护一个存储先前任务样本的情节记忆,并利用梯度信息来避免在持续学习过程中对先前任务性能的损害,同时允许对先前任务有益的知识传递。
2024-10-15 09:17:04 910
现代数字信号处理研究生习题答案.zip
2020-10-31
按网络结构划分所有神经网络分类PDF.zip
2020-10-26
科研论文的构思、规划和写作PPT--中南大帅词俊
2020-10-17
Matlab 2019b for Linux、Mac、Windows 安装包网盘链接以及安装方法.rtf
2020-09-29
MATLAB赋能信号处理--基于深度学习的信号调制识别源码.zip
2020-08-29
OFDM仿真(包含瑞利信道+高斯信道+信道估计)
2020-08-29
OFDM存储IQ信号代码、OFDM的帧关系图、代码流程图.zip
2020-08-16
OFDM仿真代码+OFDM原理和技术介绍PPT.zip
2020-08-09
使用机器学习和深度学习处理信号基础知识.pptx
2020-08-02
汇报CNN+RNN+LSTM神经网络模型介绍PPT
2020-07-21
学习汇报布谷鸟CS+模拟退火SA+人工蜂群ABC算法PPT
2020-07-11
遗传算法(GA)思维导图.zip
2020-07-11
遗传算法(Genetic Algorithm)MATLAB案例详细解析代码以及PPT.zip
2020-07-10
模拟退火算法解决函数优化以及旅行商问题详细注释代码.zip
2020-07-10
人工蜂群算法MATLAB详细注释.zip
2020-07-10
汇报遗传算法(Genetic Algorithm)PPT
2020-07-10
2022年第十一届认证杯数学中国数学建模国际赛(小美赛)赛题
2022-12-04
MATLAB实现的冰壶游戏仿真
2022-07-09
2021"认证杯"中国数学建模赛题(中英文)题目和数据.zip
2021-12-04
图像处理-基于Zernike矩的亚像素边缘检测算法-MATLAB实现.zip
2021-11-29
【2021 数学建模-某肿瘤疾病诊疗的经济学分析】30页论文+代码+赛题数据.zip
2021-10-21
IC_TI National Semiconductor_LMC555CN.zip
2021-05-11
IC_TI National Semiconductor_LMC555CN_NOPB.zip
2021-05-11
知识产权之专利权总共十章的文字内容可打印.zip
2020-12-14
知识产权之专利权选择+判断+论述题题库.zip
2020-12-14
知识产权选择题题库.zip
2020-12-13
思维导图-知识产权之专利权.zip
2020-12-13
思维导图--海上信道系统知识体系详解.zip
2020-12-02
思维导图-无线信道模型分类和对应建模方法.zip
2020-11-27
gcc4.8版本的rpm相关依赖包.zip
2020-11-24
【删除的思维导图】无线信道模型分类和对应建模方法详解
2020-11-16
TOPSIS法(优劣解距离法)例子源码和拓展资料
2020-11-09
全国大学生数学建模竞赛论文模板.doc
2020-11-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人