MIT成果登上Nature!液态神经网络YYDS

2025深度学习发论文&模型涨点之——液态神经网络

液态神经网络(Liquid Neural Networks,LNN)是一种受生物神经系统启发的连续时间递归神经网络(RNN),其核心创新在于将静态神经网络转化为由微分方程驱动的动态系统。与传统RNN在离散时间步上更新状态不同,LNN的神经元状态由一个微分方程描述,使其能够更自然地处理非均匀采样或连续的时间序列数据。这种网络的设计理念借鉴自生物神经系统,特别是秀丽隐杆线虫的神经结构,尽管这种微生物的神经系统只有302个神经元,但却能产生复杂的行为。

我整理了一些液态神经网络【论文+代码】合集

论文精选

论文1:

[Nature子刊] Neural circuit policies enabling auditable autonomy

神经回路策略实现可审计自主性

方法

      端到端学习系统:设计了一个端到端学习系统,通过卷积层感知输入,提取图像特征,并通过循环神经网络(NCP)结构进行控制。

      NCP网络结构:NCP的网络结构受秀丽隐杆线虫神经系统布线图的启发,具有稀疏连接和高效的分布式控制能力。

      连续时间常微分方程(ODE):NCP利用ODE来模拟神经元的动态行为,提高了模型对时间序列数据的建模能力。

      训练方法:采用半隐式ODE求解器和反向传播算法进行训练,确保了训练过程的稳定性和准确性。

      图片

      创新点

      紧凑网络结构:提出了紧凑的神经回路策略(NCP),仅用19个控制神经元和253个突触连接,实现了从高维输入到转向命令的映射,显著优于现有的大规模黑盒学习系统。

      性能提升:在自动驾驶的车道保持任务中,NCP在输入噪声增加时避免崩溃的能力比现有模型高出20%以上。

      可解释性增强:通过稀疏网络结构和连续时间动态,提高了模型的可解释性和鲁棒性。

      计算效率:与传统的深度学习模型相比,NCP在保持高性能的同时,显著降低了模型的复杂度和计算成本。

      图片

      论文2:

      Equivariant graph neural networks for fast electron density estimation of molecules, liquids, and solids

      等变图神经网络用于分子、液体和固体的快速电子密度估计

      方法

      等变图神经网络:提出了一种基于等变图神经网络的机器学习框架,用于预测电子密度ρ(⃗r),通过在消息传递图中设置特殊的查询点顶点(仅接收消息)来预测电子密度。

      原子序数和坐标输入:模型仅使用原子的原子序数和坐标作为输入,无需依赖预定义的密度基函数,从而实现了从数据中直接学习电子密度。

      消息传递机制:利用消息传递机制传播原子间的相互作用信息,通过等变图神经网络学习原子间的相互作用。

      训练数据:在QM9分子数据集、液态碳酸乙烯酯电解质(EC)和NMC锂离子电池正极材料等多个数据集上进行了训练和验证。

      图片

      创新点

        高精度预测:模型在QM9分子数据集上的准确性超过了DFT计算中不同交换相关泛函的典型变化范围。

        性能提升:在所有三个数据集上,模型的准确性都超越了现有技术,且计算时间比DFT快几个数量级。

        适用性广泛:该模型不仅适用于分子,还适用于液体和固体,展示了其在不同物态下的广泛适用性。

        计算效率:模型的线性扩展特性使其在处理大规模系统时比DFT更高效,即使对于小系统,模型也比DFT快一个数量级。

        图片

        论文3:

        Molecular dynamics simulation with finite electric fields using Perturbed Neural Network Potentials

        使用受扰动神经网络势的有限电场下的分子动力学模拟

        方法

          受扰动神经网络势(PNNP):提出了一种新的分子动力学模拟方法,通过将总原子力表示为标准神经网络势(代表未扰动势能面)和由电场诱导的扰动(通过原子极化张量表示)的和来实现。

          消息传递机制:利用消息传递机制传播原子间的相互作用信息,通过等变图神经网络学习原子间的相互作用。

          训练数据:在QM9分子数据集、液态碳酸乙烯酯电解质(EC)和NMC锂离子电池正极材料等多个数据集上进行了训练和验证。

          流形学习技术:采用流形学习技术压缩波束成形问题的搜索空间,提高算法的计算效率。

          图片

          创新点

          高精度模拟:PNNP MD在模拟液体水的介电弛豫动力学、介电常数和场依赖的红外光谱时,与从头算分子动力学(AIMD)或实验结果相媲美。

          性能提升:与传统方法相比,PNNP MD在计算效率上提高了几个数量级,能够处理更大规模的系统。

          适用性广泛:该方法不仅适用于分子,还适用于液体和固体,展示了其在不同物态下的广泛适用性。

          计算效率:通过避免显式嵌入到Krein空间和基于特征分解的构建新的内积,提高了算法的计算效率。

          图片

          评论
          添加红包

          请填写红包祝福语或标题

          红包个数最小为10个

          红包金额最低5元

          当前余额3.43前往充值 >
          需支付:10.00
          成就一亿技术人!
          领取后你会自动成为博主和红包主的粉丝 规则
          hope_wisdom
          发出的红包
          实付
          使用余额支付
          点击重新获取
          扫码支付
          钱包余额 0

          抵扣说明:

          1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
          2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

          余额充值