液态神经网络

液态神经网络的定义

液态神经网络（Liquid Neural Networks，LNNs）是一种新型的神经网络算法，属于AI/ML研究领域中相对较新的方向，为时间序列预测带来更紧凑、更动态的神经网络。它的命名源于其特殊的性质，就像液体一样具有一定的流动性和适应性。

其包含了许多技术，例如液态计算、非线性转换、生物启发式策略等，液态计算作为最核心的技术，是将大量的神经元按照一定规则排列，并用随机扰动来控制信号传递，如此使液态神经网络在处理含时间因素的任务时能有不错的性能表现。

它模拟了大脑中突触的时变行为，网络中的每个神经元都由一个方程控制，这些方程相互关联预测神经元随时间变化的行为，以这种方式来模拟线虫神经系统中电信号的相互连接，并准确表征系统在任何给定时刻的状态。例如在处理图像时，它不是像传统神经网络那样只给出特定时刻的结果，而是能够描述像0.53秒、2.14秒等不同时刻的变化状态。另外在处理神经元之间的突触连接时也有所不同，在标准神经网络中，连接强度用一个数字（权重）表示，而液态网络中，神经元间信号交换是由“非线性”函数表示的概率过程，输入与输出不总是成比例关系，神经元反应会因其接收到的不同输入而有差异。一般来说，液态神经网络是一种能够顺序处理数据并实时适应数据变化的神经网络，类似人类大脑的工作机制。

液态神经网络的工作原理

液态神经网络使用一系列通过非线性互连门协调的一阶常微分方程（Ordinary Differential Equations，ODE）来模拟系统动力学，这与用一系列隐式非线性（激活函数）表示系统的普通神经网络不同。液态神经网络是神经ODE的演变，它对线性ODE的封装引入了液体时间常数（tau）和一个新的偏差参数。典型神经ODE隐藏状态的导数可表示为相应方程，这里神经网络输出决定了隐藏状态的导数，这种设置带来了如易于确定因果关系、降低内存成本、能处理不规则间隔到达数据等好处。

例如在实际的计算中，其隐藏状态更新等式为下一个隐藏状态由当前隐藏状态加上神经网络的输出乘以时间变化和偏差项来确定（再除以1加上变化时间乘以1除以LTC加上神经网络的输出）。任何ODE求解器都可对液态神经网络进行前向传递，在一些参考研究中还开发了自己的融合ODE求解器。液体时间常数（LTC）表征ODE的速度和耦合灵敏度，是一个常数