20230111 Multiscale Simulations of Complex Systems by Learning their Effective Dynamics

Multiscale Simulations of Complex Systems by Learning their Effective Dynamics

通过学习复杂系统的有效动力学进行多尺度模拟

Motivation

解析所有时空尺度来大规模预测-计算资源要求高

低阶模型-快 但是 效果不那么好

提出将大规模模拟和低阶模型结合起来，以学习各种复杂系统的有效动力学（LED）

Model

高维状态与低维状态，高维：细粒度的系统结构；低维：粗粒度的状态

第一阶段Twarm：高维状态作为输入，同时根据方程来进行系统演变，演变过程中不断把每个时间步的高维状态通过encoder降维输入给RNN

经过一小段时间后，进入第二阶段，记录了历史状态的的RNN开始独立模拟dynamics，之后再将通过解码器恢复系统的高维状态，之后就是不断的交替重复

低阶与高阶信息的转换：AE（Lift & Restrict 降维到latentspace）（Restrict 降维到latent space）

RNN作用有两个：1跟踪低阶状态的历史以对非马尔可夫动态进行建模，2预测在下一个时间步长Zt+∆t处的潜在状态

decoder采用了混合密度网络，混合密度网络通常作为神经网络的最后处理部分。将某种分布（通常是高斯分布）按照一定的权重进行叠加，从而拟合最终的分布。

概念的区分

LED，训练数据来源于高维信息

LatentLED，训练的基础上在低阶状态上进行模拟预测

Multi-交替重复

Results

在不同的复杂系统上做了大量实验，也包括不同的模型组合，比如AE+RNN可以替换为AE+LSTM

FitzHugh-Nagumo方程，FHN方程是有非线性反应项的一类扩散方程,是生物神经中电流传输分析的重要数学模型。

A：不同模型在第一阶段的表现，识别合理的降维latent space维度，评价指标为均方误差MSE；dz＝2之后，MSE趋于稳定，所以选取dz=2的AE（使用到的模型：主成分分析技术，又称主分量分析技术，旨在利用降维的思想，把多指标转化为少数几个综合指标；convolutional autoencoder：AE的全连接层换成卷积）

B：预测第二阶段在latent space动态演变的效果，Tf是预测的总的时间步长，平均归一化绝对差MAND作为评价指标；LSTM-end2end和RC显示出最低的测试误差，而RC的方差更大。所以选取LSTM-end2end。（端到端训练简单的理解就是不要预处理和特征提取，直接把原始数据扔进去得到最终结果，就是给模型更多自我调整的能力）

C：CSPDF与LED比较

ABC都没有使用Multiscale

D、E：Latent-LED与Multiscale-LED在不同的multiscale ratio ρ（两个阶段的时间之比）下error与speed上的比较，Multiscale-LED：the approximation error of LED decreases, at the cost of reduced speed-up，与Latent-LED相比，MNAD从约0.019降低到约0.003。然而，speed-up从60降低到2

F G H I其实都是在证明latentspace的预测效果

GHI：抑制剂密度中的Latent-LED预测与groundtruth进行了比较