深度学习新动向！液态神经网络拿下Nature子刊，19个神经元驾驶一辆车！

最新推荐文章于 2024-10-09 09:54:49 发布

深度之眼

最新推荐文章于 2024-10-09 09:54:49 发布

阅读量1.9k

点赞数 11

分类专栏：人工智能干货深度学习干货文章标签：人工智能深度学习论文

本文链接：https://blog.csdn.net/weixin_42645636/article/details/140502978

版权

深度学习干货同时被 2 个专栏收录

538 篇文章 209 订阅

订阅专栏

人工智能干货

511 篇文章 28 订阅

订阅专栏

还记得麻省理工提出的脑启发AI系统吗？灵感来自线虫大脑中的神经计算，通过使用19个节点的液态神经网络，实现自动驾驶控制，比常规神经网络方法减少了数万倍神经元，成功登上Nature子刊！

这种液态神经网络具有高度的灵活性和适应性，能够在运行时持续适应新的输入数据，因此在很多实际应用场景中都表现出色，比传统神经网络效率更高，性能更强。

为帮助大家理解这个前沿方向，我这次分享10种可参考的液态神经网络创新方案，最新和经典的都有，开源代码已附，另外还整理了代码实战项目，方便需要发论文的同学快速复现，找到自己的idea。

论文原文+开源代码需要的同学看文末

【Nature子刊】Neural circuit policies enabling auditable autonomy

方法：作者受到线虫C. elegans神经系统结构和信息处理机制的启发，开发了一种基于脑神经计算的智能代理模型。研究采用了液体时间常数（LTC）网络，该网络通过连续时间的常微分方程描述神经动力学。实验结果显示，与其他模型相比，NCP（液体时间常数网络）在面对噪声和输入扰动时更加鲁棒，能够避免崩溃。

创新点：

通过一组卷积层感知输入，提取图像特征，并通过RNN结构执行控制的端到端学习系统。NCP的网络结构受到了C. elegans线虫的连线图的启发，具有四层层次结构。NCP的特殊拓扑结构具有高效的分布式控制、较少的神经元数量、分层时间动力学、机器人学习能力和稀疏网络中的最大信息传播等优势。
探索了用于解释学习系统动态的算法，如特征可视化和输入特征归因度量。作者提出了一种更系统的方法，设计神经网络体系结构以实现更透明的解释过程。NCP的紧凑且稀疏的网络结构使解释过程更容易，如通过显著性图计算、降维和细胞贡献分析等已有方法。

Liquid Neural Network-based Adaptive Learning vs. Incremental Learning for Link Load Prediction amid Concept Drift due to Network Failures

方法：论文提出了一种基于液态神经网络（LNNs）的新方法，该方法可以在不重新训练的情况下适应数据模式的变化。研究采用了交通模型和恢复机制，并模拟网络失败对网络流量模式的影响，通过对比实验中提出的方法和基于增量学习的参考方法的性能，评估了两种方法的预测性能和提供预测所需时间。

创新点：

提出了一种基于增量学习的方法，通过使用数据流挖掘技术开发了一种适应于故障后变化的交通的增量学习方法。该方法通过定期部分拟合的方式来训练多层感知器（MLP）回归器，使其能够适应当前交通条件。
提出了一种基于液态神经网络（LNN）的方法，用于建模时间序列数据。与传统的递归神经网络（RNN）相比，LNN通过微分方程来确定神经元状态，从而更有效地建模动态系统。

Robust flight navigation out of distribution with liquid neural networks

方法：本文介绍了一种使用液态神经网络进行机器人飞行导航的方法。研究者设计了一个基于液态神经网络的模仿学习框架，通过视觉输入学习导航任务，并成功地将这些学习到的技能应用于未见过的环境中。

创新点：

作者比较了六种不同的循环神经网络架构，包括长短期记忆、门控循环单元、常微分方程、RNN、TCN等。这些模型在处理任务中表现出了新的进展和新的方法。
作者将液态时间连续网络（LTC）的泛化能力归因于两个因素。首先，液态网络能够对头部网络的卷积滤波器施加归纳偏差，从而实现与任务相关的稳健特征表示。其次，液态网络在细胞级别上是动态因果模型（DCMs），能够通过调节外部和内部干预来与训练数据以因果方式进行交互，学习控制和感知的表示。