2025深度学习发论文&模型涨点之——液态神经网络
液态神经网络(Liquid Neural Networks,LNN)是一种受生物神经系统启发的连续时间递归神经网络(RNN),其核心创新在于将静态神经网络转化为由微分方程驱动的动态系统。与传统RNN在离散时间步上更新状态不同,LNN的神经元状态由一个微分方程描述,使其能够更自然地处理非均匀采样或连续的时间序列数据。这种网络的设计理念借鉴自生物神经系统,特别是秀丽隐杆线虫的神经结构,尽管这种微生物的神经系统只有302个神经元,但却能产生复杂的行为。
我整理了一些液态神经网络【论文+代码】合集
论文精选
论文1:
[Nature子刊] Neural circuit policies enabling auditable autonomy
神经回路策略实现可审计自主性
方法
端到端学习系统:设计了一个端到端学习系统,通过卷积层感知输入,提取图像特征,并通过循环神经网络(NCP)结构进行控制。
NCP网络结构:NCP的网络结构受秀丽隐杆线虫神经系统布线图的启发,具有稀疏连接和高效的分布式控制能力。
连续时间常微分方程(ODE):NCP利用ODE来模拟神经元的动态行为,提高了模型对时间序列数据的建模能力。
训练方法:采用半隐式ODE求解器和反向传播算法进行训练,确保了训练过程的稳定性和准确性。
创新点
紧凑网络结构:提出了紧凑的神经回路策略(NCP),仅用19个控制神经元和253个突触连接,实现了从高维输入到转向命令的映射,显著优于现有的大规模黑盒学习系统。
性能提升:在自动驾驶的车道保持任务中,NCP在输入噪声增加时避免崩溃的能力比现有模型高出20%以上。
可解释性增强:通过稀疏网络结构和连续时间动态,提高了模型的可解释性和鲁棒性。
计算效率:与传统的深度学习模型相比,NCP在保持高性能的同时,显著降低了模型的复杂度和计算成本。
论文2:
Equivariant graph neural networks for fast electron density estimation of molecules, liquids, and solids
等变图神经网络用于分子、液体和固体的快速电子密度估计
方法
等变图神经网络:提出了一种基于等变图神经网络的机器学习框架,用于预测电子密度ρ(⃗r),通过在消息传递图中设置特殊的查询点顶点(仅接收消息)来预测电子密度。
原子序数和坐标输入:模型仅使用原子的原子序数和坐标作为输入,无需依赖预定义的密度基函数,从而实现了从数据中直接学习电子密度。
消息传递机制:利用消息传递机制传播原子间的相互作用信息,通过等变图神经网络学习原子间的相互作用。
训练数据:在QM9分子数据集、液态碳酸乙烯酯电解质(EC)和NMC锂离子电池正极材料等多个数据集上进行了训练和验证。
创新点
高精度预测:模型在QM9分子数据集上的准确性超过了DFT计算中不同交换相关泛函的典型变化范围。
性能提升:在所有三个数据集上,模型的准确性都超越了现有技术,且计算时间比DFT快几个数量级。
适用性广泛:该模型不仅适用于分子,还适用于液体和固体,展示了其在不同物态下的广泛适用性。
计算效率:模型的线性扩展特性使其在处理大规模系统时比DFT更高效,即使对于小系统,模型也比DFT快一个数量级。
论文3:
Molecular dynamics simulation with finite electric fields using Perturbed Neural Network Potentials
使用受扰动神经网络势的有限电场下的分子动力学模拟
方法
受扰动神经网络势(PNNP):提出了一种新的分子动力学模拟方法,通过将总原子力表示为标准神经网络势(代表未扰动势能面)和由电场诱导的扰动(通过原子极化张量表示)的和来实现。
消息传递机制:利用消息传递机制传播原子间的相互作用信息,通过等变图神经网络学习原子间的相互作用。
训练数据:在QM9分子数据集、液态碳酸乙烯酯电解质(EC)和NMC锂离子电池正极材料等多个数据集上进行了训练和验证。
流形学习技术:采用流形学习技术压缩波束成形问题的搜索空间,提高算法的计算效率。
创新点
高精度模拟:PNNP MD在模拟液体水的介电弛豫动力学、介电常数和场依赖的红外光谱时,与从头算分子动力学(AIMD)或实验结果相媲美。
性能提升:与传统方法相比,PNNP MD在计算效率上提高了几个数量级,能够处理更大规模的系统。
适用性广泛:该方法不仅适用于分子,还适用于液体和固体,展示了其在不同物态下的广泛适用性。
计算效率:通过避免显式嵌入到Krein空间和基于特征分解的构建新的内积,提高了算法的计算效率。