![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
博士每天一篇文献
文章平均质量分 90
Better Bench
CS博士;研究领域:类脑计算、连续学习、AI、数据挖掘、自然语言处理、数学建模,特长网球4.0
展开
-
【博士每天一篇文献-算法】持续学习经典算法之LwF: Learning without forgetting
作者提出了一种名为“Learning without Forgetting”(LwF)的方法。利用知识蒸馏损失来保持旧任务的输出,这是一种创新的损失函数应用,与传统的参数正则化方法相比,能够更直接地保留旧任务的知识。这种方法使用新任务数据来训练网络,同时保留原始功能。LwF的表现优于常用的特征提取和微调适应技术。原创 2024-08-06 16:54:36 · 707 阅读 · 0 评论 -
【博士每天一篇文献-综述】2024最新联邦遗忘综述:Federated unlearning A survey on methods, design guidelines
本文提供了联邦遗忘领域的全面综述,包括背景概念、动机、挑战以及与机器遗忘的区别,提供了一套详尽的联邦遗忘算法设计和实现指南,包括算法应满足的要求和评估指标的深入分析。建立了一个评估联邦遗忘效果的指标体系,包括效率提升、性能恢复和遗忘验证等指标。本文将联邦遗忘算法分为客户端遗忘、类遗忘、样本遗忘、基于梯度修改、聚类、贝叶斯FL、差分隐私以及其他方法等类别。总结了联邦遗忘的经验教训以及联邦遗忘存在的挑战。原创 2024-07-27 09:48:10 · 687 阅读 · 0 评论 -
【博士每天一篇文献-综述】2024机器遗忘最新综述之一:An overview of machine unlearning
本文详细提供了机器遗忘的全面定义,包括问题方程、精确遗忘和近似遗忘的概念,为机器遗忘研究领域建立了一个清晰的理论基础。提出机器遗忘的目标分类,包括特征删除和类别删除。将机器遗忘方法分为模型不可知、模型固有和数据驱动三类方法。提出机器遗忘验证指标,包括准确性、完整性、遗忘时间和重训练时间、模型反演攻击、成员推断攻击和后门攻击。总结机器遗忘在联邦学习和终身学习中的应用。原创 2024-07-27 09:45:23 · 777 阅读 · 2 评论 -
【博士每天一篇文献-综述】2024机器遗忘最新综述之一:A Survey on Machine Unlearning Techniques and New Emerged Privacy Risks
论文提出了一个分类法,将现有的机器遗忘方法分为两个分支:面向数据的技术(data-oriented techniques)和面向模型的技术(model-oriented techniques)。总结机器遗忘存在的威胁和攻击,包括信息窃取攻击和破坏模型攻击。总结针对信息窃取攻击和模型破坏攻击的防御方法,包括差分隐私、同态加密、置信度分数掩蔽、温度缩放、数据预处理和鲁棒训练。提出机器遗忘在大语言模型、联邦学习和异常检测中的应用。原创 2024-07-27 09:42:42 · 633 阅读 · 0 评论 -
【博士每天一篇文献-算法】连续学习算法之HAT: Overcoming catastrophic forgetting with hard attention to the task
本文提出了一种基于任务的硬注意力机制(Hard Attention to the Task, HAT),通过学习几乎二值的注意力向量来保持先前任务的信息,同时不影响当前任务的学习。通过门控任务嵌入学习硬注意力掩码,这些掩码定义了网络权重的更新约束。利用先前任务的注意力向量来调整梯度,保护先前任务中重要的权重。通过调整超参数,控制学习知识的稳定性和紧凑性,使得方法适用于不同的应用场景。实验结果显示,HAT在不同的实验设置中都能显著降低遗忘率。HAT机制还提供了监控网络行为的能力,例如评估网络容量使用情况和权重原创 2024-07-18 16:46:54 · 964 阅读 · 0 评论 -
【博士每天一篇文献-算法】连续学习算法之RWalk:Riemannian Walk for Incremental Learning Understanding
RWalk算法是一种增量学习框架,它通过结合EWC++(Elastic Weight Consolidation的高效版本)和修改版的Path Integral(PI)算法,改进的PI算法是使用KL散度。本文讨论了不同的采样策略,以存储先前任务数据集的一小部分代表性子集,这有助于网络回忆先前任务的信息,并学习区分当前和先前的任务。RWalk在MNIST和CIFAR-100数据集上的实验结果表明,在准确性方面取得了优越的结果,并且在遗忘和固执之间提供了更好的权衡。原创 2024-07-17 17:47:42 · 878 阅读 · 0 评论 -
【博士每天一篇文献-算法】连续学习算法之HNet:Continual learning with hypernetworks
本文提出了任务条件的超网络(元模型网络)作为一种适用于持续学习的神经网络模型,它通过使用使用一个较小的超网络来生成目标网络的权重,然后再结合限制权重更新的正则化方法(如EWC、SI、MAS)来实现连续学习。超网络是基于任务身份来生成权重,在这种学习模式下,任务是顺序呈现的,目标是在学习新任务的同时,保留或提升在先前任务上的性能,同时利用已获得的知识。然后加上连续学习中权重更新的正则化技术,使得超网络在生成权重时能够保留之前任务的学习成果。原创 2024-07-17 17:39:59 · 1136 阅读 · 0 评论 -
【博士每天一篇文献-算法】改进的PNN架构Lifelong learning with dynamically expandable networks
提出了一种动态可扩展网络网络(Dynamically Expandable Network,DEN)DEN是一种有效的终身学习深度神经网络,能够在学习新任务的同时保持对旧任务的记忆,并且能够动态地调整自身的网络容量以适应新知识。DEN可以根据新任务的需求,通过增加或分裂/复制单元并进行时间戳标记来动态扩展网络容量。当现有网络不足以解释新任务时,DEN能够动态地增加网络容量,仅添加必要的单元数量。通过单元分裂/复制和时间戳标记,DEN有效防止了语义漂移(semantic drift),即网络在训练过程中逐渐偏原创 2024-07-14 15:02:04 · 996 阅读 · 0 评论 -
【博士每天一篇文献-算法】改进的PNN架构Progressive learning A deep learning framework for continual learning
提出了一种名为“Progressive learning”的深度学习框架,解决持续学习问题。Progressive learning 框架包含三个主要步骤,分别是Curriculum(课程)、Progression(渐进)和Pruning(剪枝)。课程是指主动从一组候选任务中选择一个任务进行学习。渐进是指通过添加新参数来增加模型的容量,这些新参数利用之前任务中学习到的参数,同时学习当前新任务的数据,而不会受到灾难性遗忘的影响。剪枝是指用来抵消随着学习更多任务而增加的参数数量,同时减轻不相关的先前知识可能对当原创 2024-07-14 14:59:46 · 955 阅读 · 0 评论 -
【博士每天一篇文献-算法】 PNN网络启发的神经网络结构搜索算法Progressive neural architecture search
本文提出了一种新的卷积神经网络(CNN)结构学习方法。是一种顺序模型优化(Sequential Model-Based Optimization, SMBO)策略,通过逐步增加模型复杂度来搜索结构,并同时学习一个替代模型(surrogate model)来指导搜索过程。与直接搜索完整CNN结构的方法不同,本文方法首先搜索一个好的卷积“单元”(cell),然后根据训练集大小和期望的运行时间,将这个单元堆叠多次形成最终的CNN。从简单的模型开始,逐步过渡到复杂的模型,并在此过程中剪枝掉没有前景的结构。为了减少训原创 2024-07-14 14:57:04 · 812 阅读 · 0 评论 -
【博士每天一篇文献-算法】Neurogenesis Dynamics-inspired Spiking Neural Network Training Acceleration
本文提出了一种受神经发生动态启发的脉冲神经网络(SNN)训练加速框架,称为NDSNN,NDSNN框架通过动态稀疏性从头开始训练模型,而不牺牲模型保真度,是一种新的减少非零权重数量的丢弃和生长策略,动态地减少SNN稀疏训练中的神经元连接数量,实现保证准确率的同时,实现较大的稀疏性,减少训练内存占用并提高训练效率。实验结果表明,与其它最先进方法(例如彩票假设LTH、SET-SNN、RigL-SNN)相比,NDSNN在Tiny-ImageNet上使用ResNet-19(稀疏度为99%)实现了高达20.52%的准确原创 2024-07-09 09:43:21 · 1067 阅读 · 0 评论 -
【博士每天一篇文献-算法】NICE Neurogenesis Inspired Contextual Encoding for Replay-free Class Incremental Learn
提出了一种名为 NICE(Neurogenesis Inspired Contextual Encoding)的新型深度神经网络架构,旨在解决动态环境中的增量学习问题,特别是类别增量学习(Class-Incremental Learning, CIL)场景。NICE 方法的关键特点包括三个,分别是神经元成熟阶段、避免神经元间的干扰和上下文检测器。其中神经元成熟阶段,NICE 将网络中的神经元分配为不同的“年龄”,反映它们的成熟水平。避免神经元间的干扰,通过冻结和剪枝操作,确保成熟神经元不会因新数据而改变。原创 2024-07-09 09:40:41 · 1024 阅读 · 0 评论 -
【博士每天一篇文献-算法】Adult neurogenesis acts as a neural regularizer
本文探讨成人神经发生(adult neurogenesis)在大脑中的作用,特别是它如何作为一种神经调节器来促进学习过程中的泛化能力。类似神经发生的进程作为一种正则化手段,促进类别学习任务中的泛化。在一个用于训练CIFAR-10对象识别数据集的卷积神经网络(CNN)中模拟了神经发生,将其视为一种替换/更替机制,即在模型学习对10个不同类别的对象进行分类时,随机选择一小部分隐藏层神经元的权重被重新初始化为新值。研究发现,与没有神经发生的网络相比,神经发生增强了在未见过的测试数据上的泛化能力。但是实验表明随机选原创 2024-07-05 22:03:56 · 1055 阅读 · 0 评论 -
【博士每天一篇文献-综述】Machine Unlearning Taxonomy, Metrics, Applications, Challenges, and Prospects
本文主要探讨了机器遗忘的概念、分类、评价指标、应用场景、挑战和未来研究方向。首先将机器遗忘算法主要被分为精确遗忘(Exact Unlearning)和近似遗忘(Approximate Unlearning),精确遗忘分又为基于凸函数的传统模型和基于非凸函数的复杂模型,近似遗忘又分为数据驱动的近似和模型驱动的近似。机器遗忘效果的评价指标是一套综合考量遗忘操作的有效性、效率和效用的标准,包括验证数据提供者数据是否真正被遗忘的侵入性和非侵入性验证指标,以及评估模型提供者遗忘算法性能的包括重学时间、模型相似度、遗忘原创 2024-07-05 10:16:33 · 1146 阅读 · 0 评论 -
【博士每天一篇文献-综述】Threats, Attacks, and Defenses in Machine Unlearning A Survey
本文提出了一个统一的机器遗忘工作流程,并基于此框架和威胁模型,提出了机器遗忘系统中威胁、攻击和防御的新分类法。对当前机器非遗忘中的威胁、攻击和防御进行了详细分析,并阐述了遗忘方法、攻击和防御策略之间的复杂关系。此外,讨论了机器遗忘系统中存在的漏洞,如信息泄露和恶意遗忘请求,这些导致重大的安全和隐私问题。遗忘方法和普遍的攻击在MU系统中扮演着不同的角色。例如,遗忘可以作为从后门攻击中恢复模型的机制,而后门攻击本身可以作为遗忘有效性的评估指标。这强调了这些机制在维护系统功能和安全方面的复杂关系和相互作用。原创 2024-07-05 10:13:21 · 727 阅读 · 0 评论 -
【博士每天一篇文献-综述】Machine Unlearning Solutions and Challenges
本文对机器遗忘解决方案的全面分类和分析,将现有解决方案分为精确遗忘学习(exact unlearning)方法和近似遗忘学习(approximate unlearning)方法。精确遗忘分为基于SISA框架的方法和非SISA方法,近似遗忘分为基于移除数据的影响函数、基于重新优化、基于梯度更新、特定于图数据的近似遗忘,以及基于新颖技术的近似遗忘这五个类别。精确遗忘方法通过算法级重训练彻底移除数据影响,而近似遗忘学习方法通过有效更新模型参数来最小化数据影响。论文全面回顾了这些解决方案,并识别和讨论了它们的优缺点原创 2024-07-05 10:11:37 · 1065 阅读 · 0 评论 -
【博士每天一篇文献-综述】A survey on few-shot class-incremental learning
关于少量样本增量学习(Few-shot Class-Incremental Learning, FSCIL)的综述。FSCIL面临的主要挑战包括灾难性遗忘(Catastrophic Forgetting)和过拟合(Overfitting),这些问题严重影响了模型性能。研究FSCIL有助于克服深度学习模型在数据量和获取时间上的限制,提高机器学习模型的实用性和适应性。从理论角度,将FSCIL领域分为五个子类别,包括传统机器学习方法、基于元学习的方法、基于特征和特征空间的方法、重放方法和动态网络结构方法。定义了原创 2024-06-27 18:42:50 · 1450 阅读 · 0 评论 -
【博士每天一篇文献-综述】A wholistic view of continual learning with deep neural networks Forgotten
本文提出了一个整合的视角,将持续学习、主动学习(active learning)和开放集识别(open set recognition)结合起来。提出了一个基于极端值理论(Extreme Value Theory, EVT)的元识别方法的的统一框架,该框架可以在持续学习中保护知识、在主动学习中进行有原则的数据查询,并在任何时候拒绝或搁置未知未知数据。文中强调从开放集识别中学习到的识别未知样本的教训,以及主动学习中为了最大化预期性能增益而查询数据的方法,这些在深度学习时代经常被忽视。原创 2024-06-27 18:38:28 · 871 阅读 · 0 评论 -
【博士每天一篇文献-综述】Biological underpinnings for lifelong learning machines
本文探讨生物系统终身学习的能力,并尝试理解这些能力背后的生物学机制。作者们回顾了在机器学习领域中,如何通过模仿这些生物学机制来开发能够终身学习的人工智能系统。这些系统被称为终身学习机器(Lifelong Learning Machines, L2M),它们能够像生物体一样不断地从经验中学习并适应新环境,同时保留以前学到的知识。神经科学家和其他生物学家提出了一些机制来解释这种能力,机器学习研究人员已经尝试在人工系统中模仿这些机制,并取得了不同程度的成功。原创 2024-06-27 18:33:51 · 1106 阅读 · 0 评论 -
【博士每天一篇文献-算法】Fearnet Brain-inspired model for incremental learning
提出一种名为 FearNet 的新型神经网络模型,这个模型受到大脑记忆机制的启发,用于解决增量学习中的灾难性遗忘问题。FearNet 模型不存储先前的例子,使其具有内存效率。它使用一个由大脑启发的双记忆系统,新记忆从受海马体复合体启发的网络巩固到受内侧前额叶皮层启发的长期存储网络。记忆巩固的灵感来自于睡眠期间发生的过程。FearNet 还使用一个受基底外侧杏仁核启发的模块来确定在回忆时使用哪个记忆系统。原创 2024-06-25 10:21:07 · 1108 阅读 · 0 评论 -
【博士每天一篇文献-算法】A brain-inspired algorithm that mitigates catastrophic forgetting of
提出神经调节辅助信用分配(Neuromodulation-Assisted Credit Assignment, NACA)的算法,解决人工神经网络(ANNs)和脉冲神经网络(SNNs)在学习过程中的灾难性遗忘问题,并有较低的计算成本。NACA算法利用期望信号来诱导特定水平的神经调节物质选择性地作用于突触,从而非线性地修改长期突触增强(LTP)和长期突触抑制(LTD)。这种算法在空间和时间分类任务的学习中实现了高识别准确率,并且显著降低了计算成本。特别是在连续学习任务中,NACA算法在不同复杂度的五个不同原创 2024-06-25 10:18:47 · 982 阅读 · 0 评论 -
【博士每天一篇文献-算法】A biologically inspired dual-network memory model for reduction of catastrophic
提出了一种新颖的双网络记忆模型,解决灾难性遗忘问题,该模型由两个不同的神经网络组成:海马网络和新皮层网络。信息首先存储在海马网络中,然后转移到新皮层网络。海马网络引入了海马CA3区的神经元混沌行为和齿状回区的神经元更替。CA3区的混沌回忆能够检索海马网络中存储的信息。之后,从海马网络检索出的信息与之前存储的信息交错,并使用伪模式在新皮层网络中进行巩固。原创 2024-06-18 11:26:39 · 600 阅读 · 0 评论 -
【博士每天一篇文献-算法】Memory aware synapses_ Learning what (not) to forget
鉴于模型容量有限而新信息无限,知识需要被选择性地保留或抹去。提出了一种新的方法,称为“记忆感知突触”(Memory Aware Synapses, MAS),该算法不仅以在线方式计算网络参数的重要性,而且以无监督的方式适应网络测试的数据。当学习新任务时,对重要参数的更改可以受到惩罚,有效防止与以前任务相关的知识被覆盖。构建了一个能够适应权重重要性的持续系统,以系统需要记住的内容。我们的方法需要恒定的内存量,并具有我们上面列出的主要期望的终身学习特性,同时实现了最先进的性能。原创 2024-06-18 11:22:37 · 982 阅读 · 0 评论 -
【博士每天一篇文献-算法】Progressive Neural Networks
提出了一种深度强化学习架构——渐进式网络(progressive networks),它通过保留一系列预训练模型并在训练过程中学习这些模型之间的侧向连接(lateral connections),从而实现跨任务的知识迁移。既能利用迁移学习的优势,又能避免灾难性遗忘的问题。在Atari游戏和3D迷宫游戏上进行了强化学习评估实验,通过平均扰动敏感性(Average Perturbation Sensitivity, APS)和平均Fisher敏感性(Average Fisher Sensitivity, AFS原创 2024-06-12 17:37:17 · 1225 阅读 · 0 评论 -
【博士每天一篇文献-算法】Evolutionary multi-task learning for modular knowledge representation in neuralnetworks
本文提出了一种通过模块化网络拓扑进行神经网络(非传统的前馈神经网络,类似于储层网络)中模块化知识表示的多任务学习方法。模仿人脑的模块化结构,将每个任务的知识分割存储在不同的模块中。即使网络中选定模块的一些神经元和连接被破坏或移除,模块化知识表示也将是有效的。原创 2024-06-10 19:18:41 · 749 阅读 · 0 评论 -
【博士每天一篇文献-算法】Seeing is believing_ Brain-inspired modular training for mechanistic interpretability
提出一种模仿大脑结构和功能的训练正则化方法。该方法通过在将神经元映射到几何空间中(2D或3D),并在损失函数中增加一个考虑距离、连接成本、偏置连接成本的正则化项,实现神经网络的模块化和稀疏化,在全连接网络、CNN、Transformer终验证了有效性。并在多种数据集上进行了可视化分析,包括符号回归数据集、Two Moon数据集、加法数据集、置换群S4数据集、MNIST数据集。原创 2024-06-10 19:12:04 · 912 阅读 · 0 评论 -
【博士每天一篇文献-综述】Born to Learn the Inspiration Progress and Future of Evolved Plastic ANNs
探讨了受生物神经网络启发的进化型可塑人工神经网络(Evolved Plastic Artificial Neural Networks,简称EPANNs)的灵感来源、进展和未来发展方向。原创 2024-06-10 19:07:43 · 555 阅读 · 0 评论 -
【博士每天一篇文献-综述】Modularity in Deep Learning A Survey
主要探讨了深度学习中的模块化(modularity)概念,模块化具有易于理解、解释、扩展、模块组合性和重用等优点。论文探讨了数据、任务和模型模块化在深度学习中的表现,数据模块化指的是观察或创建不同目的的数据组;任务模块化指的是将任务分解为子任务;模型模块化意味着神经网络系统的架构可以分解为可识别的模块。原创 2024-06-10 19:04:33 · 1202 阅读 · 0 评论 -
【博士每天一篇文献-综述】Brain-inspired learning in artificial neural networks a review
论文探讨了如何将生物学上更可信的机制,例如突触可塑性、神经调节、突触后电位、神经发生和胶质细胞的作用,整合到ANNs中以提升网络的性能。这些机制的整合旨在模拟生物大脑的学习过程,从而带来潜在的优势和挑战,这也是论文深入探讨的重点。原创 2024-05-18 19:17:48 · 696 阅读 · 0 评论 -
【博士每天一篇文献-综述】Continual lifelong learning with neural networks_ A review
这篇综述性论文探讨了神经网络在终身学习(lifelong learning)领域的研究进展。论文分为三个部分,第一个部分是基本概念。第二部分是连续学习的方法分类及基准介绍,第三部分是对于未来研究方向的探讨。生物学启发的终身学习相关概念稳定性-可塑性困境(Stability–Plasticity Dilemma)原创 2024-05-17 20:17:18 · 849 阅读 · 0 评论 -
【博士每天一篇文献-综述】基于脑启发的连续学习算法有哪些?附思维导图
脑启发的连续学习方法主要分为四类:突触启发方法、双系统启发方法、睡眠启发方法和模块化启发方法。经典连续学习方法主要分为三类:重放方法、正则化方法和稀疏化方法。原创 2024-05-16 18:29:29 · 1064 阅读 · 0 评论 -
【博士每天一篇文献-算法】Machine Unlearning via Representation Forgetting With Parameter Self-Sharing
这篇论文探讨了机器学习的“反学习”(machine unlearning)问题,即数据所有者希望从已训练好的模型中移除特定样本的影响。现有的方法在移除数据影响和保留模型效用之间难以找到最佳平衡,通常会导致显著的模型效用下降,称为灾难性反学习(catastrophic unlearning)。原创 2024-05-16 18:26:54 · 351 阅读 · 0 评论 -
【博士每天一篇文献-算法】Zero-Shot Machine Unlearning
由于现代隐私法规中,有些个人要求产品和服务(包括机器学习模型)不能保留他们的信息。机器遗忘涉及从训练好的机器学习模型中移除特定数据,而无需重新进行昂贵且耗时的训练。文档介绍了零样本机器遗忘的概念,即无需原始训练数据就可以实现遗忘。原创 2024-05-16 18:25:16 · 473 阅读 · 0 评论 -
【博士每天一篇文献-实验】Exploring the Morphospace of Communication Efficiency in Complex Networks
这篇论文讨论了不同的拓扑结构的复杂网络下的通信效率。采用6个评价通信效率的指标,包括平均度k,特征路径长度spl,路由效率Erout,最短路径概率Pspl,扩散效率Edff和资源效率Eres。作者使用了一个“效率形态空间”来探讨网络拓扑和效率度量之间的关系,研究了经典网络模型、使用多目标优化策略演化网络的情况。论文得出结论,表明复杂网络的通信效率需要考虑网络的拓扑结构。原创 2024-03-21 17:31:58 · 399 阅读 · 0 评论 -
【博士每天一篇文献-综述】Brain network communication_ concepts, models and applications
本文主要讨论了脑网络通信的概念、模型和应用。脑网络通信模型可分为三大类:扩散过程、参数模型和路由协议。每个系列又分为多种通信模型,每种模型都提出特定的策略或算法来引导网络节点之间的信号传递。根据通信成本的三个维度:延迟、信息和能量,可以从概念上评估一个模式的优缺点。对每种模型给出了多个详细的量化指标。原创 2024-03-16 14:16:47 · 1119 阅读 · 0 评论 -
【博士每天一篇文献-综述】Communication dynamics in complex brain networks
这篇论文主要讨论的是复杂脑网络中的通信动态。文章调查了最近关于大脑网络的研究,阐明了神经信息处理和计算的网络基础。作者提出了一个概念框架,将通信动态视为连接结构和功能连接两个经验领域之间的必要联系。文中考虑了不同结构网络的局部和全局拓扑属性如何支持网络通信模式,以及网络拓扑与动态模型之间的相互作用如何提供额外的洞察和限制。论文提出通信动态可能作为有效连接的潜在生成模型,并可以揭示大脑网络转换和处理信息的机制。作者探讨了图论以及动力学系统模型和模拟对理解通信动态的关键贡献,并研究了网络拓扑概念可以预测有关网络原创 2024-03-15 18:40:49 · 1083 阅读 · 0 评论 -
【博士每天一篇文献-算法】Optimal resilience of modular interacting networks
这篇论文讨论了模块化相互作用网络的最佳韧性,其中不同的子网络以特定方式相互连接。当前的理论模型通常假定耦合是均匀的,但现实世界的系统具有多样的耦合模式。研究开发了两种框架来探讨这些网络的韧性,考虑确定性和随机耦合模式。研究发现存在一种最佳互连节点的比例,可以最大程度地提高系统的韧性,使其能够承受更多的破坏。原创 2024-03-12 09:26:50 · 748 阅读 · 0 评论 -
【博士每天一篇文献-算法】CircuitNet:A Generic Neural Network to Realize Universal Circuit Motif Modeling
这篇论文介绍了电路神经网络(CircuitNet),这是一种受神经回路结构启发的新型神经网络。CircuitNet使用称为电路基元单元(CMUs)的密集连接神经元来模拟通用电路基元通过调整CMU内的权重。原创 2024-03-08 15:23:21 · 906 阅读 · 0 评论 -
【博士每天一篇文献-综述】Modular Brain Networks
介绍了模块化大脑网络及其如何利用图论工具进行分析,以检查大脑连接的结构和功能。首先介绍了大脑网络的概念以及检测这些网络中模块的方法。然后讨论了结构和功能大脑网络中存在模块的证据,并探讨了这些模块在大脑进化和连接性最小化中的生物作用。总之,论文详细陈述了模块化大脑网络的相关概念、生物作用和检测方法的研究进展。原创 2024-03-08 14:08:34 · 1336 阅读 · 0 评论 -
【博士每天一篇文献-实验】Is a Modular Architecture Enough?
这篇论文探讨了模块化架构在机器学习系统中的有效性,灵感来自人类认知中的稀疏性和模块化性。作者强调了模块化架构在泛化能力、可扩展性、学习速度和可解释性方面的优势。他们提出评估指标,通过合成数据分布评估常见模块化架构的性能,重点关注模块化和稀疏性。原创 2024-03-08 14:06:16 · 472 阅读 · 0 评论