博士每天一篇文献
文章平均质量分 90
Better Bench
CS博士;研究领域:类脑计算、深度学习、机器学习、数据挖掘、自然语言处理、数学建模、量化金融,兼职网球教练4.0
展开
-
【博士每天一篇文献-算法】Adult neurogenesis acts as a neural regularizer
本文探讨成人神经发生(adult neurogenesis)在大脑中的作用,特别是它如何作为一种神经调节器来促进学习过程中的泛化能力。类似神经发生的进程作为一种正则化手段,促进类别学习任务中的泛化。在一个用于训练CIFAR-10对象识别数据集的卷积神经网络(CNN)中模拟了神经发生,将其视为一种替换/更替机制,即在模型学习对10个不同类别的对象进行分类时,随机选择一小部分隐藏层神经元的权重被重新初始化为新值。研究发现,与没有神经发生的网络相比,神经发生增强了在未见过的测试数据上的泛化能力。但是实验表明随机选原创 2024-07-05 22:03:56 · 891 阅读 · 0 评论 -
【博士每天一篇文献-综述】Machine Unlearning Taxonomy, Metrics, Applications, Challenges, and Prospects
本文主要探讨了机器遗忘的概念、分类、评价指标、应用场景、挑战和未来研究方向。首先将机器遗忘算法主要被分为精确遗忘(Exact Unlearning)和近似遗忘(Approximate Unlearning),精确遗忘分又为基于凸函数的传统模型和基于非凸函数的复杂模型,近似遗忘又分为数据驱动的近似和模型驱动的近似。机器遗忘效果的评价指标是一套综合考量遗忘操作的有效性、效率和效用的标准,包括验证数据提供者数据是否真正被遗忘的侵入性和非侵入性验证指标,以及评估模型提供者遗忘算法性能的包括重学时间、模型相似度、遗忘原创 2024-07-05 10:16:33 · 652 阅读 · 0 评论 -
【博士每天一篇文献-综述】Threats, Attacks, and Defenses in Machine Unlearning A Survey
本文提出了一个统一的机器遗忘工作流程,并基于此框架和威胁模型,提出了机器遗忘系统中威胁、攻击和防御的新分类法。对当前机器非遗忘中的威胁、攻击和防御进行了详细分析,并阐述了遗忘方法、攻击和防御策略之间的复杂关系。此外,讨论了机器遗忘系统中存在的漏洞,如信息泄露和恶意遗忘请求,这些导致重大的安全和隐私问题。遗忘方法和普遍的攻击在MU系统中扮演着不同的角色。例如,遗忘可以作为从后门攻击中恢复模型的机制,而后门攻击本身可以作为遗忘有效性的评估指标。这强调了这些机制在维护系统功能和安全方面的复杂关系和相互作用。原创 2024-07-05 10:13:21 · 524 阅读 · 0 评论 -
【博士每天一篇文献-综述】Machine Unlearning Solutions and Challenges
本文对机器遗忘解决方案的全面分类和分析,将现有解决方案分为精确遗忘学习(exact unlearning)方法和近似遗忘学习(approximate unlearning)方法。精确遗忘分为基于SISA框架的方法和非SISA方法,近似遗忘分为基于移除数据的影响函数、基于重新优化、基于梯度更新、特定于图数据的近似遗忘,以及基于新颖技术的近似遗忘这五个类别。精确遗忘方法通过算法级重训练彻底移除数据影响,而近似遗忘学习方法通过有效更新模型参数来最小化数据影响。论文全面回顾了这些解决方案,并识别和讨论了它们的优缺点原创 2024-07-05 10:11:37 · 810 阅读 · 0 评论 -
【博士每天一篇文献-综述】A survey on few-shot class-incremental learning
关于少量样本增量学习(Few-shot Class-Incremental Learning, FSCIL)的综述。FSCIL面临的主要挑战包括灾难性遗忘(Catastrophic Forgetting)和过拟合(Overfitting),这些问题严重影响了模型性能。研究FSCIL有助于克服深度学习模型在数据量和获取时间上的限制,提高机器学习模型的实用性和适应性。从理论角度,将FSCIL领域分为五个子类别,包括传统机器学习方法、基于元学习的方法、基于特征和特征空间的方法、重放方法和动态网络结构方法。定义了原创 2024-06-27 18:42:50 · 1202 阅读 · 0 评论 -
【博士每天一篇文献-综述】A wholistic view of continual learning with deep neural networks Forgotten
本文提出了一个整合的视角,将持续学习、主动学习(active learning)和开放集识别(open set recognition)结合起来。提出了一个基于极端值理论(Extreme Value Theory, EVT)的元识别方法的的统一框架,该框架可以在持续学习中保护知识、在主动学习中进行有原则的数据查询,并在任何时候拒绝或搁置未知未知数据。文中强调从开放集识别中学习到的识别未知样本的教训,以及主动学习中为了最大化预期性能增益而查询数据的方法,这些在深度学习时代经常被忽视。原创 2024-06-27 18:38:28 · 806 阅读 · 0 评论 -
【博士每天一篇文献-综述】Biological underpinnings for lifelong learning machines
本文探讨生物系统终身学习的能力,并尝试理解这些能力背后的生物学机制。作者们回顾了在机器学习领域中,如何通过模仿这些生物学机制来开发能够终身学习的人工智能系统。这些系统被称为终身学习机器(Lifelong Learning Machines, L2M),它们能够像生物体一样不断地从经验中学习并适应新环境,同时保留以前学到的知识。神经科学家和其他生物学家提出了一些机制来解释这种能力,机器学习研究人员已经尝试在人工系统中模仿这些机制,并取得了不同程度的成功。原创 2024-06-27 18:33:51 · 1039 阅读 · 0 评论 -
【博士每天一篇文献-算法】Fearnet Brain-inspired model for incremental learning
提出一种名为 FearNet 的新型神经网络模型,这个模型受到大脑记忆机制的启发,用于解决增量学习中的灾难性遗忘问题。FearNet 模型不存储先前的例子,使其具有内存效率。它使用一个由大脑启发的双记忆系统,新记忆从受海马体复合体启发的网络巩固到受内侧前额叶皮层启发的长期存储网络。记忆巩固的灵感来自于睡眠期间发生的过程。FearNet 还使用一个受基底外侧杏仁核启发的模块来确定在回忆时使用哪个记忆系统。原创 2024-06-25 10:21:07 · 1037 阅读 · 0 评论 -
【博士每天一篇文献-算法】A brain-inspired algorithm that mitigates catastrophic forgetting of
提出神经调节辅助信用分配(Neuromodulation-Assisted Credit Assignment, NACA)的算法,解决人工神经网络(ANNs)和脉冲神经网络(SNNs)在学习过程中的灾难性遗忘问题,并有较低的计算成本。NACA算法利用期望信号来诱导特定水平的神经调节物质选择性地作用于突触,从而非线性地修改长期突触增强(LTP)和长期突触抑制(LTD)。这种算法在空间和时间分类任务的学习中实现了高识别准确率,并且显著降低了计算成本。特别是在连续学习任务中,NACA算法在不同复杂度的五个不同原创 2024-06-25 10:18:47 · 926 阅读 · 0 评论 -
【博士每天一篇文献-算法】A biologically inspired dual-network memory model for reduction of catastrophic
提出了一种新颖的双网络记忆模型,解决灾难性遗忘问题,该模型由两个不同的神经网络组成:海马网络和新皮层网络。信息首先存储在海马网络中,然后转移到新皮层网络。海马网络引入了海马CA3区的神经元混沌行为和齿状回区的神经元更替。CA3区的混沌回忆能够检索海马网络中存储的信息。之后,从海马网络检索出的信息与之前存储的信息交错,并使用伪模式在新皮层网络中进行巩固。原创 2024-06-18 11:26:39 · 551 阅读 · 0 评论 -
【博士每天一篇文献-算法】Memory aware synapses_ Learning what (not) to forget
鉴于模型容量有限而新信息无限,知识需要被选择性地保留或抹去。提出了一种新的方法,称为“记忆感知突触”(Memory Aware Synapses, MAS),该算法不仅以在线方式计算网络参数的重要性,而且以无监督的方式适应网络测试的数据。当学习新任务时,对重要参数的更改可以受到惩罚,有效防止与以前任务相关的知识被覆盖。构建了一个能够适应权重重要性的持续系统,以系统需要记住的内容。我们的方法需要恒定的内存量,并具有我们上面列出的主要期望的终身学习特性,同时实现了最先进的性能。原创 2024-06-18 11:22:37 · 894 阅读 · 0 评论 -
【博士每天一篇文献-算法】Progressive Neural Networks
提出了一种深度强化学习架构——渐进式网络(progressive networks),它通过保留一系列预训练模型并在训练过程中学习这些模型之间的侧向连接(lateral connections),从而实现跨任务的知识迁移。既能利用迁移学习的优势,又能避免灾难性遗忘的问题。在Atari游戏和3D迷宫游戏上进行了强化学习评估实验,通过平均扰动敏感性(Average Perturbation Sensitivity, APS)和平均Fisher敏感性(Average Fisher Sensitivity, AFS原创 2024-06-12 17:37:17 · 1158 阅读 · 0 评论 -
【博士每天一篇文献-算法】Evolutionary multi-task learning for modular knowledge representation in neuralnetworks
本文提出了一种通过模块化网络拓扑进行神经网络(非传统的前馈神经网络,类似于储层网络)中模块化知识表示的多任务学习方法。模仿人脑的模块化结构,将每个任务的知识分割存储在不同的模块中。即使网络中选定模块的一些神经元和连接被破坏或移除,模块化知识表示也将是有效的。原创 2024-06-10 19:18:41 · 718 阅读 · 0 评论 -
【博士每天一篇文献-算法】Seeing is believing_ Brain-inspired modular training for mechanistic interpretability
提出一种模仿大脑结构和功能的训练正则化方法。该方法通过在将神经元映射到几何空间中(2D或3D),并在损失函数中增加一个考虑距离、连接成本、偏置连接成本的正则化项,实现神经网络的模块化和稀疏化,在全连接网络、CNN、Transformer终验证了有效性。并在多种数据集上进行了可视化分析,包括符号回归数据集、Two Moon数据集、加法数据集、置换群S4数据集、MNIST数据集。原创 2024-06-10 19:12:04 · 818 阅读 · 0 评论 -
【博士每天一篇文献-综述】Born to Learn the Inspiration Progress and Future of Evolved Plastic ANNs
探讨了受生物神经网络启发的进化型可塑人工神经网络(Evolved Plastic Artificial Neural Networks,简称EPANNs)的灵感来源、进展和未来发展方向。原创 2024-06-10 19:07:43 · 528 阅读 · 0 评论 -
【博士每天一篇文献-综述】Modularity in Deep Learning A Survey
主要探讨了深度学习中的模块化(modularity)概念,模块化具有易于理解、解释、扩展、模块组合性和重用等优点。论文探讨了数据、任务和模型模块化在深度学习中的表现,数据模块化指的是观察或创建不同目的的数据组;任务模块化指的是将任务分解为子任务;模型模块化意味着神经网络系统的架构可以分解为可识别的模块。原创 2024-06-10 19:04:33 · 1170 阅读 · 0 评论 -
【博士每天一篇文献-综述】Brain-inspired learning in artificial neural networks a review
论文探讨了如何将生物学上更可信的机制,例如突触可塑性、神经调节、突触后电位、神经发生和胶质细胞的作用,整合到ANNs中以提升网络的性能。这些机制的整合旨在模拟生物大脑的学习过程,从而带来潜在的优势和挑战,这也是论文深入探讨的重点。原创 2024-05-18 19:17:48 · 642 阅读 · 0 评论 -
【博士每天一篇文献-综述】Continual lifelong learning with neural networks_ A review
这篇综述性论文探讨了神经网络在终身学习(lifelong learning)领域的研究进展。论文分为三个部分,第一个部分是基本概念。第二部分是连续学习的方法分类及基准介绍,第三部分是对于未来研究方向的探讨。生物学启发的终身学习相关概念稳定性-可塑性困境(Stability–Plasticity Dilemma)原创 2024-05-17 20:17:18 · 775 阅读 · 0 评论 -
【博士每天一篇文献-综述】基于脑启发的连续学习算法有哪些?附思维导图
脑启发的连续学习方法主要分为四类:突触启发方法、双系统启发方法、睡眠启发方法和模块化启发方法。经典连续学习方法主要分为三类:重放方法、正则化方法和稀疏化方法。原创 2024-05-16 18:29:29 · 1035 阅读 · 0 评论 -
【博士每天一篇文献-算法】Machine Unlearning via Representation Forgetting With Parameter Self-Sharing
这篇论文探讨了机器学习的“反学习”(machine unlearning)问题,即数据所有者希望从已训练好的模型中移除特定样本的影响。现有的方法在移除数据影响和保留模型效用之间难以找到最佳平衡,通常会导致显著的模型效用下降,称为灾难性反学习(catastrophic unlearning)。原创 2024-05-16 18:26:54 · 298 阅读 · 0 评论 -
【博士每天一篇文献-算法】Zero-Shot Machine Unlearning
由于现代隐私法规中,有些个人要求产品和服务(包括机器学习模型)不能保留他们的信息。机器遗忘涉及从训练好的机器学习模型中移除特定数据,而无需重新进行昂贵且耗时的训练。文档介绍了零样本机器遗忘的概念,即无需原始训练数据就可以实现遗忘。原创 2024-05-16 18:25:16 · 425 阅读 · 0 评论 -
【博士每天一篇文献-实验】Exploring the Morphospace of Communication Efficiency in Complex Networks
这篇论文讨论了不同的拓扑结构的复杂网络下的通信效率。采用6个评价通信效率的指标,包括平均度k,特征路径长度spl,路由效率Erout,最短路径概率Pspl,扩散效率Edff和资源效率Eres。作者使用了一个“效率形态空间”来探讨网络拓扑和效率度量之间的关系,研究了经典网络模型、使用多目标优化策略演化网络的情况。论文得出结论,表明复杂网络的通信效率需要考虑网络的拓扑结构。原创 2024-03-21 17:31:58 · 374 阅读 · 0 评论 -
【博士每天一篇文献-综述】Brain network communication_ concepts, models and applications
本文主要讨论了脑网络通信的概念、模型和应用。脑网络通信模型可分为三大类:扩散过程、参数模型和路由协议。每个系列又分为多种通信模型,每种模型都提出特定的策略或算法来引导网络节点之间的信号传递。根据通信成本的三个维度:延迟、信息和能量,可以从概念上评估一个模式的优缺点。对每种模型给出了多个详细的量化指标。原创 2024-03-16 14:16:47 · 1076 阅读 · 0 评论 -
【博士每天一篇文献-综述】Communication dynamics in complex brain networks
这篇论文主要讨论的是复杂脑网络中的通信动态。文章调查了最近关于大脑网络的研究,阐明了神经信息处理和计算的网络基础。作者提出了一个概念框架,将通信动态视为连接结构和功能连接两个经验领域之间的必要联系。文中考虑了不同结构网络的局部和全局拓扑属性如何支持网络通信模式,以及网络拓扑与动态模型之间的相互作用如何提供额外的洞察和限制。论文提出通信动态可能作为有效连接的潜在生成模型,并可以揭示大脑网络转换和处理信息的机制。作者探讨了图论以及动力学系统模型和模拟对理解通信动态的关键贡献,并研究了网络拓扑概念可以预测有关网络原创 2024-03-15 18:40:49 · 1063 阅读 · 0 评论 -
【博士每天一篇文献-算法】Optimal resilience of modular interacting networks
这篇论文讨论了模块化相互作用网络的最佳韧性,其中不同的子网络以特定方式相互连接。当前的理论模型通常假定耦合是均匀的,但现实世界的系统具有多样的耦合模式。研究开发了两种框架来探讨这些网络的韧性,考虑确定性和随机耦合模式。研究发现存在一种最佳互连节点的比例,可以最大程度地提高系统的韧性,使其能够承受更多的破坏。原创 2024-03-12 09:26:50 · 710 阅读 · 0 评论 -
【博士每天一篇文献-算法】CircuitNet:A Generic Neural Network to Realize Universal Circuit Motif Modeling
这篇论文介绍了电路神经网络(CircuitNet),这是一种受神经回路结构启发的新型神经网络。CircuitNet使用称为电路基元单元(CMUs)的密集连接神经元来模拟通用电路基元通过调整CMU内的权重。原创 2024-03-08 15:23:21 · 821 阅读 · 0 评论 -
【博士每天一篇文献-综述】Modular Brain Networks
介绍了模块化大脑网络及其如何利用图论工具进行分析,以检查大脑连接的结构和功能。首先介绍了大脑网络的概念以及检测这些网络中模块的方法。然后讨论了结构和功能大脑网络中存在模块的证据,并探讨了这些模块在大脑进化和连接性最小化中的生物作用。总之,论文详细陈述了模块化大脑网络的相关概念、生物作用和检测方法的研究进展。原创 2024-03-08 14:08:34 · 1314 阅读 · 0 评论 -
【博士每天一篇文献-实验】Is a Modular Architecture Enough?
这篇论文探讨了模块化架构在机器学习系统中的有效性,灵感来自人类认知中的稀疏性和模块化性。作者强调了模块化架构在泛化能力、可扩展性、学习速度和可解释性方面的优势。他们提出评估指标,通过合成数据分布评估常见模块化架构的性能,重点关注模块化和稀疏性。原创 2024-03-08 14:06:16 · 456 阅读 · 0 评论 -
【博士每天一篇文献-实验】Impact of modular organization on dynamical richness_in cortical networks
这篇论文研究了大脑的模块化组织对其运作能力、整合分割能力和鲁棒性的基础。通过将微加工技术与离体皮质网络结合起来,研究了四个相互连接的神经模块的动态结构和功能特性。研究发现,模块之间的耦合程度会影响模块之间的一致性活动,强耦合会导致模块之间保持一致的活动,而弱耦合则导致活动仅在模块内部局部化。原创 2024-03-08 14:03:35 · 633 阅读 · 0 评论 -
【博士每天一篇文献-算法】Memory augmented echo state network for time series prediction
这篇论文介绍了记忆增强的回声状态网络(MA-ESN),旨在平衡ESN的记忆能力和非线性映射能力,以提高时间序列预测的性能。传统的ESNs具有较高的记忆能力,但其非线性映射能力有限,导致在复杂时间序列上的预测表现较差。MA-ESN通过在储层中引入线性记忆模块和非线性映射模块的新组合方式来实现这种平衡。线性记忆模块改善了记忆能力,而非线性映射模块保持了网络的非线性映射。原创 2024-02-28 15:17:15 · 566 阅读 · 0 评论 -
【博士每天一篇文献-综述】A Modified Echo State Network Model Using Non-Random Topology
这篇论文是一篇博士论文,提出了基于非随机拓扑结构的Echo State Networks (ESN)模型,用于处理时间/序列数据。文档探讨了利用复杂网络模型和聚类模型作为储层中的非随机拓扑结构,以更好地捕捉不同类训练数据的信息。其中,储层基于复杂网络的连接性拓扑结构包括随机网络、无标度网络和小世界网络。原创 2024-02-26 18:31:31 · 1124 阅读 · 0 评论 -
【博士每天一篇论文-综述】Deep Echo State Network (DeepESN)_ A Brief Survey
年份:2017作者:C. Gallicchio 比萨大学计算机科学系终身教授助理教授,A. Micheli,比萨大学计算机科学系期刊:ArXiv引用量:68。这是两个大牛的论文,两位作者也是在2017到2018年期间发表了多篇ESN的研究。该文概述了DeepESN(深度回声状态网络)在开发、分析和应用方面的进展。DeepESN是一种专门用于处理时间数据的深度递归神经网络(RNN)。它是Echo State Network(ESN)模型的延伸,ESN模型是一种设计高效训练的RNN的先进方法。原创 2024-01-22 23:27:11 · 1079 阅读 · 0 评论 -
【博士每天一篇论文-技术综述】Machine Learning With Echo State Networks 一篇系统讲解ESN知识的五星文章
年份:2020作者:徐元超,曼尼托巴大学期刊: 无引用量:无。这篇文章是一篇技术报告,从递归神经网络(RNNs)引入到回声状态网络(ESNs)。说明了RNNs的局限性,并引入了储层计算和ESN的概念。非常系统详细的介绍了ESN的数学模型、属性(echo state property)、意义、训练方法、深度ESN的以、ESN的应用和局限性、以及未来的研究方向。原创 2024-01-21 22:23:18 · 1098 阅读 · 0 评论 -
【博士每天一篇论文-算法】Overview of Echo State Networks using Different Reservoirs and Activation Functions
1. 引入了Echo State Networks (ESN)用于IoT网络流量预测,为网络动态调整网络参数提供了一种方法。2. 提出并比较了三种不同拓扑结构的ESN,并将它们与传统算法(如Seasonal Autoregressive Moving Average (SARIMA)、Convolutional Neural Networks (CNN)和Long-Short Term Memory (LSTM))在流量预测上进行了性能对比分析。3. 在数据速率预测方面,提出50 x 50神经元矩阵、使原创 2024-01-21 17:37:26 · 922 阅读 · 0 评论 -
【博士每天一篇论文-综述】Echo State Network Optimization: A Systematic Literature Review
这篇论文对于ESN的热度、热点研究内容、常用的数据集都做了全面的调研,非常有启发性,说明ESN的研究目前还处于研究热门中。有可能是没有分析完,通过我使用VOSviewer的数据分析,目前的研究主要分为四个热门方向。可以参考我的文章[http://t.csdnimg.cn/nwt8f](http://t.csdnimg.cn/nwt8f)。其中一个ESN的研究方向是研究大脑功能连接和网络,涉及脑皮层、认知、注意力、决策制定等方面,并在神经影像学、精神疾病如精神分裂症以及工作记忆等领域有所深入探讨。原创 2024-01-19 10:50:27 · 481 阅读 · 0 评论 -
【博士每天一篇论文-理论分析】Dynamical systems, attractors, and neural circuits
这篇论文主要关注神经回路中的动力系统和吸引子。作者指出神经回路的复杂性和所涉及的非线性,加上数据受限和在动力系统领域的有限条件,可能会导致错误的模型。作者提出应该使用基于动力系统的适当数学模型来为神经回路的适当建模提供基础。对几种不同类型的动力系统进行了研究,包括点吸引子、多稳态和记忆,以及抑制稳定网络及其在神经回路中的作用。此外还提出一些观点。原创 2024-01-13 11:13:09 · 950 阅读 · 0 评论 -
【博士每天一篇论文-实验分析】Toroidal topology of population activity in grid cells
这篇论文通过揭示格状细胞网络的环面拓扑结构,深入探讨了这些网络的组织和动力学,并对空间编码提供了重要指导和启发。这篇论文的主题是关于格网细胞(population activity in grid cells)的环面拓扑学。原创 2024-01-10 17:15:58 · 862 阅读 · 0 评论 -
【博士每天一篇论文-综述】Brain Inspired Computing : A Systematic Survey and Future Trends
这篇论文主要介绍了脑启发计算(Brain Inspired Computing,BIC)以及其在人工智能(Artificial Intelligence,AI)领域的相关性。BIC是一个交叉学科的领域,涵盖了众多的领域,如计算神经科学、统计物理学、芯片设计、材料科学、计算机科学和人工智能。论文指出,BIC旨在基于生物神经系统的信息处理机制和结构,构建基本理论、模型、硬件架构和应用系统。并提出了建立基于脉冲神经网络(SNN)的理论模型、训练算法、硬件架构和应用系统的概念。本文重点关注BIC基础设施开发的四个组原创 2024-01-09 16:36:57 · 956 阅读 · 0 评论 -
【博士每天一篇论文-综述】An overview of brain-like computing Architecture, applications, and future trends
年份:2022作者:欧嵬,肖世涛,海南大学期刊: Frontiers in Neurorobotics引用量:3这篇论文是关于脑科学计算的概述,介绍了常用的神经元模型包括Hodgkin-Huxley模型、积分-火灾模型、漏电积分-火灾模型、Izhikevich模型和AdEx IF模型,它们模拟和建模了人脑神经系统的基本结构和功能单元。编码神经系统信息的两种常用方法是速率编码和时间编码。脑科学计算在机器学习、模式识别等领域具有重要应用。原创 2024-01-09 16:34:43 · 864 阅读 · 0 评论 -
【博士每天一篇论文-算法】Optimal modularity and memory capacity of neural reservoirs
主要研究了神经网络的模块化与记忆性能之间的关系,提出记忆性能存在一个最佳模块化程度,即在局部凝聚性和全局连接性之间建立平衡。这种最佳模块化可以使神经网络具有更长的记忆能力。作者提出从神经网络的动力学分析和信息传播过程中获取的见解可以用于更好地设计神经网络,并可以揭示大脑的模块化组织。原创 2024-01-09 16:30:25 · 725 阅读 · 0 评论