Nature Reviews Neuroscience：多时间尺度神经动力学在多感官整合中的作用

 执行任何日常任务，无论是在交通中驾驶、与朋友交谈还是打篮球，都需要对来自不同感觉模态的刺激进行快速选择、整合和分离。目前，即使是最先进的人工智能系统也无法复制人脑常规执行的多感官处理过程，而大脑神经回路是如何执行这些过程的仍然不太清楚。在这篇观点文章中，我们讨论了近期的研究发现，这些发现为介导多感官整合(MI)的振荡神经机制提供了新的见解，包括功率调制、相位重置、相位-振幅耦合和动态功能连接。然后，我们考虑了一些研究，这些研究还表明在MI背景下，内在持续神经活动以及刺激驱动的自下而上和认知自上而下的神经网络处理中存在多时间尺度动力学。我们提出了一个新的MI（多感官整合）概念，强调了多个时间尺度上的神经动力学在脑网络内部和跨网络中的关键作用，使得能够在不同时间窗口中同时进行信息的整合、分离、分层结构化和选择。为了突出我们多时间尺度MI概念的预测，我们考虑了现实世界中多时间尺度过程可能以灵活和自适应方式协调MI（多感官整合）的场景。本文发表在Nature Reviews Neuroscience杂志。

词汇表：

Alpha（α）

      α频带包括8至12 Hz之间的频率；这个频带的节律也称为α振荡；这些相对较慢的振荡构成约100毫秒的处理时间窗口。

振幅调制

      神经振荡的振幅对外部输入的响应变化。

自相关

      信号在不同时间点的值之间的相关性，作为这些时间点之间滞后的函数。

Beta（β）

      β频带包括13至30 Hz之间的频率；这个频带的节律活动也称为β振荡；这些快速振荡提供的处理时间窗口在40-70毫秒范围内。

临界性

     系统接近相变的状态，其中时空相关性对扰动高度敏感。

跨频耦合

     不同频带神经振荡的功率和/或相位之间的耦合。

跨模态

     神经系统之间的相互作用，其中一种感觉模态的输入影响另一种感觉模态的处理。

Delta（δ）

      δ频带包括3 Hz以下的频率；这个频带的节律活动也称为δ振荡；这些慢振荡提供持续数百毫秒的长处理时间窗口。

双闪错觉

     当单个闪光与两个听觉点击或两个触觉刺激一起呈现时产生的两个闪光的错觉感知。

同步

      神经活动与节律外部输入的同步。

包络耦合

     基于神经信号振幅包络相关性的动态耦合。

功能连接

      从不同神经元或大脑区域记录的信号之间的统计关系。

Gamma（γ）

      γ频带包括30 Hz以上的振荡，也称为γ振荡；通常，γ频带被细分为低γ和高γ，取决于振荡频率是否低于或高于约80 Hz；这些快速振荡提供的处理时间窗口持续时间低于20-30毫秒。

内在耦合模式

      不是由外部因素强加而是在大脑中产生的神经耦合模式。

内在神经时间尺度

      从给定大脑区域神经信号的自相关推断出的处理时间窗口。

反效能

      当各自的单感官刺激单独呈现时引起微弱神经反应时，多感官相互作用最强。

长程时间相关

      时间序列数据在多个时间尺度上相关性的持续性。

相位重置

      神经振荡的相位对外部输入的响应移动。

功率

      正弦波振幅的平方。

幂律缩放

      两个变量之间的关系，其中一个变量随另一个变量的幂而变化；当两个变量以对数方式显示时，这产生线性关系。

预测性处理

      涉及生成和更新关于感觉输入或事件预测的大脑过程。

无标度动力学

      神经过程动力学中缺乏特征时间尺度。

超模态

      跨不同感觉模态运作的认知过程。

Theta（θ）

      θ频带包括4至7 Hz之间的频率；这个频带的节律活动也称为θ振荡；这些相对较慢的振荡构成约150-250毫秒的处理时间窗口。

时间窗口

       可以编码或处理感觉刺激信息的时间段；这些窗口的持续时间可以变化，产生不同的处理时间尺度。

McGurk效应

       将听觉音节或单词与冲突的视觉音节或单词融合成组合的多感官感知。

神经动力学

       神经元群体活动模式的时空变化。

振荡周期

       振荡波形的可重复部分，包括一个谷和一个峰；周期的持续时间定义了振荡提供的功能时间窗口的长度。

振荡

       由一组合作的神经元产生的电活动的节律模式。

振荡频带

      定义节律活动模式特征动力学的频率范围；神经振荡通常分为五个频带：δ (<3 Hz)、θ (4-7 Hz)、α (8-12 Hz)、β (13-30 Hz) 和 γ (>30 Hz)。

相位-振幅耦合

       一个振荡信号的振幅被另一个振荡信号的相位调制。

相位耦合

       基于神经信号相位相关性的动态耦合。

引言

       为什么我们在观看一个人的嘴唇运动时能更好地理解语音？为什么当我们无法处理嗅觉信息时食物就失去了味道？这些问题正在多感官整合(MI)的研究中得到解答。MI研究关注不同感觉模态的信息如何相互作用以影响感知和行为。MI的一个关键特征是对多感官刺激的反应通常与相应单感官刺激反应的简单组合不同。大脑处理和整合单一感觉模态内和跨模态刺激的方式也存在差异（见框1）。过去几十年的研究阐明了塑造MI的多个因素，包括自下而上的因素（如反效能原理和刺激的时空一致性）、与当前任务相关的感觉证据权重，以及自上而下的机制（如注意力）。在本文中，我们聚焦于MI底层机制的时间方面，讨论一个尚未被充分理解的概念：MI涉及多个相互作用时间尺度上的神经动力学。

      激活外周受体细胞的刺激（如声波、光波或气味分子）的时间特征在不同感觉系统间存在显著差异。感觉器官编码刺激强度和时间过程，并将其转换为电信号，这些信号在不同感觉系统间的时间尺度可能相差数个数量级（图1a）。此外，在所有感觉器官中，刺激都同时被不同细胞群以不同的时间分辨率编码。因此，MI不仅需要比较和链接不同感觉系统之间的信息，还需要跨越不同的时间尺度。

图1：与多感官处理相关的多个时间尺度和神经机制

     a. 感觉时间尺度在不同感觉系统间存在显著差异，这已通过行为证据、神经生理数据和感觉信号信息编码数据得到证实。神经时间尺度源于神经细胞基本事件（如动作电位和突触电流）的持续时间，以及可能跨越几个数量级的网络动力学相关方面，包括基于自相关的内在神经时间尺度估计、长程时间相关、神经振荡和内在耦合模式。

     b. 感觉和神经时间尺度的例子。行为任务通过测量连续呈现的触觉、视觉或视触觉组合刺激之间的时间间隔检测阈值来揭示感觉时间尺度（上图）。时间分辨率的差异说明了感觉时间尺度如何在不同模态间变化。对猴子视觉皮层神经信号的振荡谱特性分析揭示了三个不同频带中的神经时间尺度，这些频带中发生相位耦合（相干性）（中图）。对猴子皮层不同区域模拟尖峰反应的自相关分析。高阶皮层区域自相关函数的逐渐减慢衰减展示了刺激处理时间窗口的不同长度（下图）。

     c. 与多感官整合相关的振荡神经机制包括振荡的相位和振幅的调制。相关机制包括：感觉刺激开始后神经振荡的振幅调制（左上）；感觉刺激瞬变对持续振荡相位的重置（左下）；外部节律事件对神经振荡的同步（中上）；高频振荡振幅与低频振荡相位之间的相位-振幅耦合（中下）；两个神经元群体振荡相位之间的相位耦合（右上）；不同神经元群体之间包络（源自振荡峰值振幅）的相关波动（右下）。虚线表示振荡相位或包络峰值和谷值的时间对齐。

      感觉通路后续处理阶段的神经动力学也跨越了广泛的时间尺度（图1a）。皮层下和皮层区域展现出从慢波振荡（低于1 Hz）到高频振荡（高于100 Hz）的广泛频率范围的同步神经活动。这些振荡节律参与了感觉和认知处理的多个方面，有假设认为神经振荡可能为信息的分块或链接提供不同持续时间的时间窗口。此外，神经活动的自相关分析揭示了皮层处理的特征时间尺度（图1b，底部）。这些内在神经时间尺度似乎在皮层通路的不同处理阶段有所不同，早期感觉区域表现出较短的时间尺度，而高级区域则呈现逐渐延长的时间尺度。在分析不同细胞群体间神经活动的动态耦合时也观察到了不同的时间尺度（图1b，中间），并且有强有力的证据表明存在多种在不同时间尺度上运作的内在耦合模式。

     总的来说，已经确立了外周和中枢阶段的单感觉信息处理涉及多个时间尺度；即信息处理以不同的时间分辨率发生，并跨越广泛的感觉和神经整合时间窗口。有人提出，多时间尺度动力学可以增强感觉系统中信息处理和整合的能力。然而，迄今为止，多时间尺度概念还没有被明确考虑用来解释MI（多感官整合）中不同感觉系统之间的动态整合和交互。

       基于单一感觉模态研究的概念（框1）已经在多时间尺度处理的功能重要性方面取得了进展，强调了几个不同但相关的方面。第一个方面涉及信息的整合。多个时间尺度可能支持在不同持续时间的时间窗口内整合信息，这些窗口可以适应当前任务需求。此外，有人提出不同的时间尺度，反映在不同的振荡频带中，用于在皮层网络中路由不同类型的信息，从而在神经群体之间建立功能特异性的联系。第二个方面是信息的分离。有人提出多个时间尺度的共存可能通过多路复用 - 在不同通道中并行处理互补信息 - 来增强系统容量，这可能由不同频带提供。第三个方面与前两个密切相关，是信息的分层结构。有人提出不同时间尺度之间的关系可能通过神经振荡的跨频耦合来建立。由此产生的多个处理时间尺度的嵌套可能导致皮层网络中功能层级的形成。最后一个方面涉及信息的选择。最近的概念假设不同的神经时间尺度参与了感觉刺激的预测和注意选择，这需要自上而下和自下而上信息流的相互作用，这些信息流似乎由不同的频带介导。

      在这篇观点文章中，我们旨在提供一个尚未在多感官处理中呈现的多时间尺度解释。首先，我们回顾几个与MI中涉及的多时间尺度动力学相关的神经机制。然后，我们描述持续神经活动中的多时间尺度动力学如何影响MI。随后，我们讨论多时间尺度MI在认知处理中的作用。基于这些证据，我们主张一种MI的观点，该观点结合了信息整合、分离、分层结构和选择的多时间尺度概念。最后，我们描述了突出MI底层多时间尺度动力学的场景，并用它们来阐明源自所提出概念的预测。

框1 多感官处理与单感官处理的比较       信息的整合、分离、分层结构和选择不仅与多感官处理相关，对单感官处理也至关重要。这些方面在视觉系统中研究得可能最为透彻，特别是在视觉特征绑定和视觉注意力的背景下。然而，它们在其他感觉模态中也得到了充分研究。快速神经振荡在信息处理中的基本作用最早在嗅觉系统和视觉系统中被发现。早期研究揭示了神经振荡功率和神经群体间振荡信号相位耦合与单感官处理和信息自下而上整合的具体关系。进一步的研究揭示了功率和相位调制在单感官处理的自上而下控制中的相关性，例如在注意力选择和刺激预测中。       尽管单感官和多感官处理的整合、分离、分层结构和选择的基本要求可能相似，并且似乎存在相同的基本振荡机制，但仍有几个显著的差异：       首先，参与多感官处理的大脑网络和神经群体与单感官处理不同。前者涉及具有多感官响应特征的神经元，如上丘中的神经元，它们对多感官刺激的反应显示出增强（超加性）或减弱（亚加性）的放电率，相比于对应单感官刺激响应的线性组合。类似地，颞上、顶内和前额叶联合区的皮层神经群体也显示多感官响应特征。      其次，在多感官处理中，多时间尺度机制必须在大脑的不同子系统间运作，以实现不同感觉模态间振荡信号的功能耦合、同步或相位重置。例如，跨模态相位重置（图4e）在不同模态间振荡响应的对齐和增强中的作用很可能与单感官情况下相位重置的功能不同。在后者中，相位重置将神经振荡与自下而上的感觉输入对齐，而在前者中，它发生在不同感觉模态之间，似乎主要通过跨模态皮层-皮层相互作用来介导。      第三，涉及的网络执行的计算在多感官和单感官情况下似乎有所不同，例如在刺激预测和预测误差校正方面。一个重要方面是，跨模态处理通过不同的感觉通道提供环境特征的独立样本，而同一模态内的神经信号可能表现出显著的协变；因此，多感官整合可以比单感官整合产生更好的误差减少。多感官处理通常也优于单感官整合，因为它不太容易受到竞争性单感官输入的影响。尽管存在这些差异，单感官和多感官过程似乎在很大程度上依赖于相同的振荡机制（图1c）。

多时间尺度多感官整合的神经机制

       多感官信息的整合处理需要能够快速适应感觉环境变化的神经机制。这些机制必须在大脑的不同子系统之间以及不同时间尺度上实现整合。因此，为了实现信息的整合或分离、信号的分层结构化和信息的选择，这些神经机制必须能够在大脑区域内部和之间灵活运作。

      几种神经机制满足这些要求，并且对多时间尺度多感官整合很重要（图1c）。这些机制包括不同频带神经振荡的振幅调制、神经振荡信号的相位重置和同步、以及跨频带神经群体的动态功能耦合，包括相位耦合、包络耦合和相位-振幅耦合。振幅调制、相位重置、同步和功能耦合也被认为在多时间尺度单感官处理中起关键作用，但它们执行的神经计算在单感官和多感官处理之间可能有所不同（框1）。接下来，我们讨论每种机制参与多感官处理的证据，并强调它们对多时间尺度多感官整合的相关性。大多数证据来自使用脑电图（EEG）或脑磁图（MEG）进行的人类静息状态或任务相关研究，这些研究允许对神经动力学进行特定频率的表征。

振幅调制

      在大量研究中观察到了多感官整合期间神经振荡振幅或功率的变化（图1c，左上）。例如，多感官刺激的使用对感觉皮层的伽马功率产生了影响，这表明具有短时间窗口的高频振荡可能提供了一种神经机制，支持从低级到高级皮层区域的快速前馈多感官处理。此外，多感语音刺激增强了前额叶θ振荡，以响应语义不一致和一致的视听刺激，并增强了前额叶δ振荡，以响应视觉语音输入（说话者的发音动作和手势）和听觉语音刺激之间的时间异步与同步。这些结果表明，高级多感官过程 - 如视听语音感知 - 可能与具有长时间窗口的低频振荡的功率调制相关。因此，很容易提出，与多感官整合相关的功率调制反映了从低级到高级皮层区域的快速到慢速振荡的梯度。值得注意的是，在人类静息状态MEG数据中发现了类似的频率梯度，电生理学和功能神经影像研究的证据支持多感官过程的后-前分层组织。此外，基于神经信号的自相关分析，有人提出信息整合的逐渐延长的时间窗口与感觉处理层级的更高水平相关。

     然而，几条证据反对多感官处理的严格频率依赖的分层组织。首先，在多感官整合期间，高频振荡的功率调制不仅在感觉皮层区域被发现，在高级联合区也被发现。其次，在多感官学习之后，在整个皮层包括高级皮层区域观察到了β振荡的广泛变化。第三，在低级感觉区域观察到了低频带的多感官相互作用。最后，在语音处理中，不一致的视觉和听觉语音刺激的跨模态预测错误不仅反映在前额叶脑区，也反映在感觉区域的伽马振荡中，这与感觉区域的高频振荡主要服务于前馈多感官过程的观点相矛盾。

     在多感官整合的背景下，神经振荡的振幅和功率调制已在所有频带和所有大脑子系统中被观察到。这表明存在多个频率依赖的时间尺度，可以并行运作以优化感觉信息的选择、整合和分离。

相位重置

      几项研究表明，在一种感觉模态中呈现刺激可以跨模态地重置其他功能系统感觉皮层的神经振荡相位（图1c，左下）。例如，触觉刺激呈现导致猴子听觉皮层的神经振荡在刺激开始后不到100毫秒内发生宽带（1-100 Hz）跨模态相位重置，表明存在前馈处理。类似地，听觉刺激呈现可以在100-200毫秒内导致视觉皮层的相位重置，反之亦然。感觉皮层中的跨模态相位重置机制也可能与行为相关，并受到自上而下注意力的影响。此外，跨模态相位重置可以依赖于皮层-皮层投射和皮层下前馈处理。最后，跨模态相位重置发生在神经振荡的整个频率范围内，从长期的慢波δ振荡到瞬时的高频γ振荡。

     因此，在一种感觉模态中呈现刺激可以诱导其他感觉模态中神经振荡的相位重置。这种跨模态相位重置发生在不同的频带中，表明它可能服务于多时间尺度信息处理，以促进输入多感官刺激的前馈整合。跨模态相位重置似乎也受到自上而下控制的调节，并且与更高认知功能（如视听语音处理）相关。

同步

      额外的研究调查了神经振荡的同步（图1c，中上）及其对跨模态处理的影响。一项研究表明，听觉节律3 Hz刺激导致视觉皮层在这个频率上的振荡同步，并伴随视觉目标敏感性的相位依赖调制。在另一项呈现两个竞争听觉流的研究中，一个与任务无关的持续显示视觉刺激阵列跨模态地促进了时间上连贯的听觉流中听觉目标的检测，相比于在非连贯听觉流中检测相同目标。此外，对于视听跨模态影响，时间同步的听觉刺激促进了视觉目标检测，而在特定条件下，时间不同步的视听刺激损害了视觉目标检测。在最近的一项研究中，同相位的多感官刺激（连续4 Hz调制的触觉和听觉刺激）增强了听觉皮层的稳态感觉反应，而反相位的多感官刺激相比单感官听觉刺激减弱了这些反应。类似地，4 Hz同步呈现的视听刺激同步了感觉皮层的θ振荡，并改善了联想多感官记忆的形成。

      现有数据表明，多个时间尺度上的跨模态同步可能增强跨模态感觉处理，提供了一种依赖于多感官刺激流时间关系的神经机制。此外，它似乎非常适合多感官处理过程中的自上而下注意力调节。

功能耦合

      功能连接在大脑网络中普遍存在，可以涉及神经信号的相位和振幅，产生相位耦合、包络耦合和相位-振幅耦合（图1c，中下和右）。人类和动物模型的许多研究已经证明了与多感官处理相关的不同时间尺度上功能连接的变化。在人脑中，在视听反应时任务期间，δ频带的相位耦合发生在听觉和运动区域之间。此外，在听觉双闪错觉期间，α频带的相位耦合发生在听觉和视觉皮层之间，而在触觉双闪错觉期间，β频带的相位耦合发生在体感和视觉皮层之间。在McGurk效应期间，颞叶和额顶叶皮层之间出现了β频带相位耦合。在视触觉模式匹配期间，在感觉运动皮层网络中观察到了θ、α和β频带的任务相关相位耦合。在同一研究中，感觉运动皮层区域的远程α-β相位-振幅耦合也预测了表现。

      猴子的研究揭示了视听多感官整合期间听觉和高阶颞叶皮层之间β和γ频带的相位耦合。在大鼠中，视触觉感觉处理导致视觉和体感皮层之间θ和β频带的相位耦合增强。另一项大鼠研究表明，听觉-嗅觉关联伴随着听觉和梨状皮层之间θ和δ频带的相位耦合。在雪貂中，视听处理与包括视觉、听觉和顶叶区域的皮层网络中多个频带的相位和包络耦合相关。上述大多数研究都证明了与相位耦合相关的效应，而关于包络耦合在多感官整合中作用的证据较少。

      总之，这些数据显示了多感官任务期间多个频带的功能耦合，支持多感官整合不仅在区域内局部处理方面，而且在不同区域间长程交互方面都需要多时间尺度动力学的观点。考虑到皮层感觉系统的分布性质，这种由功能耦合介导的交互非常适合动态整合不同感觉模态同时处理的信息。此外，多感官整合期间观察到的大部分耦合似乎是内在产生的。在节律性感觉刺激的情况下，同步也可能导致参与刺激处理的神经群体的相位耦合。然而，在大多数讨论的研究中，相位耦合并非来自节律性外部刺激的同步，而是源于相应网络的内在动力学。

      接下来，为了进一步理解振幅调制、相位重置、同步和功能耦合如何支持多时间尺度多感官整合，我们讨论内在网络动力学如何在多个时间尺度上塑造多感官整合。

持续的多时间尺度网络动力学

       持续的内在网络动力学是否塑造多感官整合？最近的研究表明，发生在不同时间尺度上的持续神经动力学确实可能影响多感官处理（图2）。研究这一问题的一个明显方法是询问刺激前大脑活动（如持续神经振荡所反映的）如何影响多感官整合。关于刺激前神经振荡和多感官感知的研究揭示了几个频带的效应。刺激前θ振荡与跨模态处理的自上而下调节有关。例如，持续的中额θ振荡减弱与腹语术效应的增强相关，在这种效应中，听觉刺激的感知位置被拉向空间上分离的视觉刺激的位置。此外，刺激前α振荡影响了不同模态输入之间时间滞后的敏感性和视听刺激时间序列的感知。进一步，刺激前γ和β振荡功率的自发波动预测了双闪错觉中的视听整合（图2a），类似地，β频带振荡预测了McGurk效应。在这两种情况下，高频振荡的更强功率与增强的错觉感知相关，可能反映了感觉和高阶皮层区域对多感官整合的增加倾向。

图2：多感官处理和持续神经活动中的多时间尺度动力学

      持续的皮层动力学，如刺激前相位和包络耦合，以及不同频率振荡的功率和相位，预测即将到来的多感官整合（MI）。

      a，刺激前高频功率预测声音诱导的双闪错觉中的多感官感知。在参与者感知到错觉的试验中，高β和低γ范围的功率在刺激开始（0 ms）之前较高（上图）。这种效应在枕叶和顶叶脑电图（EEG）通道上显著（下左图；星号），效应强度在参与者之间有所不同，如单次试验回归系数分布所示（下右图）。

      b，刺激前α频带功率和相位耦合预测听觉-触觉刺激的整合（INT）或分离（SEG）。在参与者将听觉和触觉刺激感知为属于一起的试验中，刺激前α功率较高（上图）。这种效应在前额和中央MEG传感器上显著（右上图；星号）。刺激前顶内皮层（种子点）、体感（S2）、前额（PFC）、视觉（V2）和听觉（A2）皮层之间的相位耦合预测多感官整合（下图）。

    c，刺激前网络耦合预测雪貂皮层多感官刺激处理期间的功率变化。微型皮质电图阵列的电极接触靶向麻醉雪貂的视觉（Vis）、听觉（Aud）和顶叶（Par）区域，其中记录的α频带相位耦合和包络耦合的刺激前模式在拓扑结构上有所不同（左图）。刺激前相位耦合和包络耦合与多感官反应（刺激诱导的功率变化）在所有频带（矩阵；θ，θ频带；α，α频带；β，β频带；γlow，低γ频带；γhigh，高γ频带）交叉的相关性表明，刺激前时期的网络耦合预测多感官处理（右图）。注意，刺激前相位耦合比刺激前包络耦合更强烈地预测多感官效应对反应功率的影响，并且跨越更多频带。

AMLS，前内侧外侧上sylvian区；PMLS，后内侧外侧上sylvian区；PS，后上sylvian区。

      综上所述，这些结果表明，不同频率的刺激前神经振荡的功率波动，反映了不同的时间尺度，影响即将到来的多感官处理。因此，多感官信息整合可以在不同的时间窗口内进行。接下来，我们讨论塑造多感官整合的持续多时间尺度神经动力学的其他方面，包括持续活动反映的大脑状态、多时间尺度刺激前耦合、学习依赖的变化和内在大脑动力学的无标度特征。

大脑状态

      特别有趣的是，持续大脑状态中的时间稳定特征，如个体振荡峰值频率，是否能影响多感官整合。几项研究探讨了α频带的个体峰值频率是否与视听整合的时间特性相关。Cecere等人显示，个体α频率与双闪错觉范式中多感官整合时间窗口大小呈正相关 - 这一发现在几项研究中得到重复（但参见ref. 95，其提供了反对刺激前α频率与此范式中知觉结果之间关系的证据）。因此，类似于单感官视觉处理的提议，神经网络中的每个α振荡周期可能提供一个功能时间窗口，不仅允许感觉模态内，而且也允许感觉模态间的信息整合或分离。几项研究支持这一结论。例如，减弱的刺激前α功率伴随着听触觉刺激被感知为时间分离（图2b）。

      此外，一项计算建模研究将刺激前α功率和相位与多感官感知联系起来，并显示刺激前α振荡直接与观察者的因果先验（关于多感官刺激因果结构的信念）相关。有趣的是，这种关系依赖于刺激历史，表明α振荡调制（在振幅和/或相位上）可能支持与传入感觉信息的共同或不同来源假设相关的灵活适应过程。

      因此，α振荡与多感官整合时间窗口宽度相关，并与观察者对世界因果结构的信念相关。α振荡的相位、振幅，可能还有周期长度，可以动态调整以促进α振荡动力学提供的时间窗口内刺激的整合或分离。刺激前α频率是否影响多感官整合时间窗口宽度仍存在争议。

多时间尺度刺激前耦合

      大量证据支持，刺激呈现前皮层网络中的功能耦合影响多感官感知。几项关于模糊视听感知的研究表明，内在β频带相位耦合可以偏向观察者报告的多感官知觉。类似地，多感官和单感官皮层区域之间更强的刺激前β频带相位耦合增强了双闪错觉。

在一项听触交互研究中，前额叶皮层、顶内皮层和感觉皮层之间α频带更高的刺激前相位耦合预测了听觉和触觉输入的整合（图2b）。这进一步支持了之前讨论的观点，即α振荡可能与感觉模态间同时性知觉的整合时间窗口相关。在听觉-嗅觉匹配任务中，听觉和嗅觉皮层之间的δ频带相位耦合预测了任务表现。此外，正确试验与听觉和嗅觉皮层θ振荡相位和嗅觉皮层β振荡振幅之间的相位-振幅耦合相关。最近在雪貂中的工作提供了证据，表明视觉、听觉和顶叶区域之间在刺激前间隔的相位和包络耦合影响即将到来的多感官过程。有趣的是，相位耦合和包络耦合 - 可能代表不同的耦合机制 - 与多感官反应的不同特征相关（图2c）。例如，刺激前相位耦合比刺激前包络耦合更强烈地预测多感官反应潜伏期。

      总的来说，这些研究提供了明确的证据，表明低频和高频频带的刺激前功能耦合，以及感觉和高级皮层区域内部和之间的跨频相位-振幅耦合，可以影响即将到来的多感官刺激的处理。

学习依赖的变化和持续的多时间尺度神经动力学

      多感官学习和训练如何通过重塑持续神经动力学和多感官刺激处理的倾向来影响多感官整合是另一个重要问题。几天的多感官训练可以对多感官感知产生实质性影响，例如缩小视听整合时间窗口。在神经层面，导致对视听异步重新校准感知的短期学习与视觉和听觉皮层中刺激前α和γ频带相位-振幅耦合的变化相关。

     多感官整合和多时间尺度神经动力学的学习依赖变化也在更长时间（数月到数年）的训练间隔后发现，如音乐家研究所示。与非音乐家相比，音乐家检测视听异步的整合时间窗口更窄，并表现出对多感官错觉的更高敏感性。此外，音乐家在听觉、感觉运动和前额叶皮层之间的持续活动中显示增强的θ和α频带相位耦合。因此，多感官学习和训练显著塑造了与多感官整合相关的多尺度神经网络动力学，影响了多感官刺激的处理和整合方式。

无标度动力学

      内在多时间尺度动力学不仅在特定频带中的过程（如振荡神经信号所反映的）方面被研究，也在无标度神经信号方面被研究。这些无标度动力学可以通过分析神经信号的包络动力学来捕捉。这些包络通常表现出长程时间相关和幂律缩放，表明持续的神经活动在广泛的时间尺度上波动。无标度动力学的这些特征似乎非常有趣，因为它们被认为反映了一种临界状态，在这种状态下，神经耦合模式特别容易受到扰动，网络可以快速适应易变环境。与频率特定的振荡信号不同，无标度神经动力学尚未直接与多感官整合联系起来。因此，只能推测无标度动力学可能通过增强信息处理能力和增加神经多时间尺度耦合的灵活性来为多感官整合过程增加灵活性。此外，有人认为无标度动力学可以改善神经网络中的相位重置和同步，这也可能促进多感官整合所需的多时间尺度交互。

      总之，本节讨论的研究表明，多感官整合受到反映当前大脑状态和先前学习影响的持续内在生成网络动力学特征的塑造。这些持续神经活动的特征包括刺激前神经振荡和多个时间尺度上振荡信号的动态功能耦合，但无标度神经动力学是否也塑造多感官整合仍有待确定。接下来我们讨论，多时间尺度神经动力学在多感官认知处理过程中也可能起重要作用。因此，我们在多感官语音处理、注意力、工作记忆和预测处理等认知功能的背景下考虑多时间尺度动力学。

多感官认知处理过程中的多时间尺度动力学

       在现实世界中，多感官刺激通常表现出复杂的时空结构，并在多个时间尺度上携带信息。这些刺激的选择、整合和分离需要认知功能，这些功能可能通过具有不同时间分辨率的分层处理来实现。在本节中，我们讨论了在多感官整合背景下得到充分研究的四个这样的认知功能示例，所有这些示例都展示了多时间尺度神经机制如何在多感官刺激的认知处理过程中运作。

语音处理

     在语音处理过程中跟踪语音信息涉及大脑振荡的嵌套层级和具有分层组织时间尺度的皮层网络中的并行信息处理。这在视听语音处理（如面对面交流所需的）中尤为明显，其中涉及在不同时间尺度上操作的跨模态预测机制。研究视听语音处理基础神经机制的研究表明，听觉皮层中的跨模态相位重置促进了语音感知。此外，先于听觉语音约100-300毫秒（一个音节的典型持续时间）的唇部运动可以解释这种跨模态影响。

      最近一项视听语音处理研究改变了视觉和听觉音节之间的时间延迟。研究振荡网络的嵌套分层组织，该研究发现时间延迟反映了不同时间尺度上振荡动力学的调制（图3a，左）。此外，该研究表明，慢振荡频带中的全局网络调制可以调谐嵌套的高频带局部网络，从而实现跨不同时间尺度的有效语音信息整合处理。此外，左半球主导网络中跨模态同步的δ-θ振荡的相位适应了视觉和听觉起始之间的时间异步（图3a，右）。这一重要发现表明，慢波振荡的相位可以快速适应环境动力学，为跨模态信息传输提供了灵活的神经机制。另一项研究使用计算机生成的视听语音刺激诱导McGurk效应，其中视觉或听觉输入主导了多感官语音处理。该研究发现，颞叶和枕叶皮层中θ振荡的相位预测了哪种输入主导视听语音感知。

图3：多感官认知处理过程中的多时间尺度动力学

      多感官语音处理和多感官注意力反映在嵌套的分层网络、功率调制和不同频率神经振荡的功能耦合中。

       a, 视听(AV)语音处理期间具有不同时间尺度的分层嵌套功能皮层网络（左）。在特定振荡频带网络中，较深的方块表示相应皮层区域的功能连接数量较多（上），AV语音处理期间高频网络在空间上嵌套在低频网络中（下）。左半球主导的皮层网络中δ相位信息传输，其中左缘上回或角回(SMG/AG)形成中心枢纽（右）。节点符号的大小反映了该区域在网络中的功能连接数量。从上颞回(STG；包括多感官联合区)到SMG/AG（与语音的语音学处理相关）的信息流快速适应视觉和听觉语音起始之间的时间异步（右）。注意，信息传输绘制了两种V-A起始差为零的条件（定义为视觉和听觉音节起始之间的自然时间延迟），代表使用两个不同音节的条件。误差线表示标准误差。

      b, 注意力和刺激节律性对多感官视触觉注意线索任务期间视觉皮层持续振荡功率涉及的皮层网络动力学的影响（左）。对即将到来的视觉(V)相比触觉(T)刺激的注意力与更大的α和β频带去同步相关，无论刺激是以节律还是可变的时间方式呈现（左下）；误差线表示标准误差，星号表示显著性。当注意的刺激是T相比V时，视觉皮层与颞叶和体感皮层之间α频带(α)功能耦合增强(↑)（右上）与这些效应平行。此外，可变相比节律刺激在视觉和额叶皮层之间诱导了更强的β频带(β)功能耦合（右中），而刺激节律性和多感官注意力的交互作用导致了涉及额叶、后顶叶和体感区域的皮层网络中θ频带(θ)功能连接的调制（右下）。

      总的来说，这些研究表明，多感官语音处理涉及视听相位重置和皮层网络内部及之间分层组织的跨频耦合，这使得跨不同时间尺度的整合信息处理成为可能。这些能够灵活适应环境变化的神经机制很可能在需要跟踪和分割复杂多感官刺激的其他情况下也起关键作用，而不仅仅是语音处理。

注意力

       大量证据表明，多时间尺度神经动力学与多感官背景下的注意力调节高度相关，几条研究线强调了注意力和多感官整合之间的相互作用。许多研究调查了神经振荡在多感官注意力中的作用，报告了不同频带内部和跨频带的多种效应。例如，在视听目标检测范式中，空间性和非空间性注意的视觉刺激可以诱导听觉皮层γ振荡的早期跨模态相位重置。这些结果表明，自上而下的注意力可以促进自下而上的多感官处理。此外，与任务无关的侧向声音可以以自下而上的方式促进随后呈现在同侧的视觉刺激的处理，这一点通过声音诱导的对侧枕叶α振荡去同步和听觉-视觉线索范式中增强的表现得到证实。

      使用多感官目标检测范式的进一步研究调查了节律呈现的感觉刺激的神经同步效应。对于以亚δ频率呈现的视听刺激，一项研究发现神经同步发生在刺激频率的两倍，伴随着听觉皮层中α频带振幅调制和δ相位与α功率之间的跨频耦合。相关地，一个多感官视触觉注意力范式发现自上而下的注意力对视觉皮层中持续α和β功率的影响（图3b，左）。同一研究还揭示了注意力对α频带持续相位耦合的影响，刺激节律性对δ和β功能网络的影响，以及注意力和节律性在θ频带中的交互作用（图3b，右）。

      总之，多感官注意力和节律性注意采样都涉及多个时间尺度的神经动力学。与多感官注意力相关的振荡机制，特别是跨模态相位重置和跨频耦合，在某种程度上与其他多感官认知处理方面（如视听语音感知）所涉及的机制重叠。正如我们接下来要讨论的，与工作记忆中涉及的多时间尺度多感官整合机制也存在密切关系。

工作记忆

      进入感觉系统的刺激通常出现在特定背景中，并且前后都有其他相关输入。感知依赖于在包含刺激呈现的时间窗口内从不同感觉模态选择、整合和分离信息，这需要与注意力和多感官处理密切相关的工作记忆功能。可能连接工作记忆、注意力和多感官整合的重要神经机制是θ振荡和θ-γ振荡的相位-振幅耦合。在大脑回路中，每个频带的相位和振幅，以及θ和γ振荡的跨频耦合，可以快速适应环境的变化。

      例如，θ周期可能为注意力采样、工作记忆和多感官整合提供时间窗口。一项人类研究发现，在匹配样本工作记忆任务中，视听对象编码期间θ频带的功率和功能耦合增强，θ振荡也被认为是记忆负荷影响人类感知相关多感官处理的基础。在另一项工作记忆研究中，以θ频率节律呈现与任务无关的视觉形状产生了θ频带额顶功能连接的增加，这改善了随后的听觉工作记忆任务的表现。因此，大量证据表明，θ振荡为工作记忆中多感官信息的处理提供了关键的时间窗口。此外，还有证据表明右前额叶皮层存在一种β频带的超模态机制，可以在工作记忆中维持刺激频率。还有证据表明，颞叶和额叶皮层存在一种θ-β相位-振幅耦合机制，支持在工作记忆中保持视听信息。

      总之，这些研究强有力地支持了这样的结论：工作记忆和多感官整合之间的相互作用允许多感官信息的灵活和适应性处理。现有数据指出，θ、β和γ振荡，以及跨频θ-γ和θ-β相互作用在工作记忆中处理和维持多感官信息方面起重要作用。

预测性处理

      多时间尺度动力学在多感官预测性处理中也很明显。基于先前经验，大脑持续预测即将发生的事件，并通过学习来调整这些预测以减少预测误差。有人提出，预测的自上而下信号传递和预测误差的自下而上传播涉及不同的时间尺度。支持这一观点的证据来自于对大脑中自上而下和自下而上信息处理倾向于由不同频带的振荡信号介导的观察。自上而下的信号传递可能主要涉及α和β频带，而信息的自下而上处理似乎主要通过γ频带的相互作用来介导。

      关于多感官整合期间预测性处理的神经动力学研究与这一观点一致。例如，视听语音感知中的跨模态预测误差反映在上颞沟联合区域β和γ频带振荡的增加。β频带相位耦合也与视触任务中感觉刺激的时间可预测性相关。有趣的是，较低频率的振荡频带似乎也在多感官预测性处理中起作用，特别是在涉及感觉刺激时间预测的多感官任务中。例如，一项研究发现，在跨模态时间估计任务中，与时间预测相关的持续δ频带振荡的相位重置。另一项研究表明，延迟目标检测任务中的时间预测准确性与δ和β振荡功率的增加相关，且增强的δ-β相位-振幅耦合先于正确的时间预测。

      总的来说，这些研究支持多个时间尺度的振荡信号在多感官预测性处理中起作用的观点，而关注皮层动力学其他方面的工作提供了进一步的证据。例如，有人提出整合时间窗口（如神经反应自相关所反映的）沿着功能皮层层级增加（图1b，底部）。这种功能架构可以在不同时间窗口建立自上而下的预测，通过在不同时间尺度上产生的预测误差进行学习，然后可以调整这些预测。

      总之，本节回顾的证据表明，多时间尺度动力学参与多感官信息的认知处理。环境事件的采样、处理和预测是通过不同振荡频带中神经机制的并发操作来介导的。特别是，多感官整合似乎涉及慢波（δ，θ）振荡与更快（β，γ）振荡之间的相位-振幅耦合，前者参与环境中感觉信号的跟踪或节律采样，后者与大脑内信息的自上而下或自下而上传输相关。

     接下来，我们提出一个多感官整合的概念，设想多时间尺度场景用于多感官信息的分离、整合、跨模态促进和选择。

多感官整合的多时间尺度概念

       长期以来，人们一直认为大脑信号的时间模式和跨不同神经群体的动态耦合与多感官处理相关。然而，除了少数例外，多个频带的并发参与以及这些不同时间尺度上信息处理的可能角色和相互关系还没有被明确考虑。我们在这篇观点文章中回顾的结果清楚地证明了多时间尺度神经动力学在多感官整合中的相关性，其中不同频带的振荡和多个时间尺度上的功能耦合提供了多感官整合的关键神经机制。

      从δ到γ的所有振荡频带的神经动力学都参与多感官整合，在多感官处理的背景下，所有频带都观察到功率调制、相位重置和功能耦合变化。然而，不同频带在多感官整合中的功能相关性可能在某种程度上有所不同。例如，δ和θ频带的慢振荡似乎经常涉及对环境变化的同步或刺激的节律采样。此外，α振荡和β振荡似乎主要与自上而下的处理相关，而γ频带似乎主要涉及多感官信号的自下而上处理。尽管如此，整个振荡频谱在多感官整合中的参与表明，不同频率的振荡主要提供不同的时间窗口来处理多感官信息。这不仅适用于多感官整合，也适用于单感官处理（框1）。

     多时间尺度动力学的一个关键方面是不同时间尺度上的过程可以在功能上链接。如前所述，所有频带的振荡都可以参与跨频耦合，特别是相位-振幅耦合。例如，相位-振幅耦合的δ-β振荡被相关刺激同步，用于跟踪复杂的感觉信号，θ-γ振荡的相位-振幅耦合可能用于节律性采样刺激。这提出了一个有趣的可能性，即跨频耦合可能通过链接高时间分辨率和低时间分辨率的信息来建立不同时间尺度之间的层级关系。

      虽然尚未形成完整的图景，但现实生活中的情况 - 通常包含竞争的单感官和多感官刺激 - 可以用来说明关于多感官整合底层多时间尺度动力学功能影响的一些结论（图4）。在现实生活中，符合多感官整合原则的感觉输入的自下而上处理通常得到增强，这些多感官刺激很好地屏蔽了其他干扰的单感官或多感官输入（图4a）。此外，自上而下的注意力可以促进被注意刺激的多时间尺度处理，并抑制竞争的未被注意刺激的处理（图4b）。接下来，我们讨论四个可推广的场景，以提出多时间尺度动力学对多感官处理期间信息的分离、整合、跨模态促进和选择的功能影响（图4c-f）。在所有这些场景中，自上而下和自下而上处理之间的相互作用是由多时间尺度动力学实现的一个关键特征。

图4：多时间尺度多感官整合的场景

      a. 一个现实生活场景，其中多感官处理的同步由多感官刺激的时间结构自下而上驱动。与单感官刺激相比，多感官刺激导致大脑中增强的多时间尺度处理。

      b. 一个现实生活场景，其中内部生成的时间模式占主导地位，反映了自上而下的注意力机制，导致多感官刺激的选择或抑制。自上而下的注意力促进了与左边第二只鸟相关的感觉信息的多时间尺度处理。

      c. 多时间尺度动力学可以支持跨感觉模态的信息分离。在这个例子中，自上而下的影响 - 通过高级联合皮层（AC）和涉及处理单感官输入的皮层区域（Cx2）之间神经反应的跨频耦合来介导 - 导致选择感觉模态2（SM2）的输入流，并将其与感觉模态1（SM1）的输入流分离。此外，持续皮层活动的慢振荡中包含的内部生成的刺激前先验可能促进SM2相对于SM1的选择，因为它相对较慢的输入流在Cx2中产生的神经反应通过跨频耦合与刺激呈现期间AC（高级联合皮层）持续振荡的相位匹配。

     d. 多时间尺度处理允许通过感觉区域（Cx1，Cx2）中高频神经反应与高级AC中较慢振荡节律的相位-振幅耦合来整合来自不同模态的时间成分不同的感觉输入。这里，跨频耦合促进了低级感觉区域（Cx1，Cx2）和高级AC之间同一时间窗口内的信息流。注意，Cx1和Cx2中反应的包络也相关，这可能进一步支持整合。

     e. 通过相位重置的多感官整合的跨模态促进。这里，SM1刺激只预测SM2中两个输入流之一。跨模态相位重置（带箭头的虚线）导致Cx2中时间模式的调整（红色曲线），该模式也与高级AC中跟踪缓慢刺激包络的慢振荡相位对齐（垂直虚线）；这对Cx2中竞争刺激引起的时间模式（灰色虚线）不成立。

     f. 通过与不同模态（SM1）刺激引起的时间模式耦合和自上而下影响来选择竞争刺激（在SM2中）。在Cx2中，只有与Cx1中振荡反应相位耦合的神经振荡（红色曲线）得到增强。这通过与高级AC中慢振荡模式的相位-振幅耦合进一步增强。第二个SM2刺激引起的振荡模式（灰色虚线）由于与主导的多时间尺度神经动力学不对齐而被有效抑制。箭头表示相应场景的信息传输的主要方向。

分离

     我们提出多时间尺度动力学与跨感觉模态的信息分离相关。例如，考虑一个场景，其中来自感觉模态1（SM1）和感觉模态2（SM2）的两个不同感觉流分别在感觉区域Cx1和Cx2中产生神经反应模式，这些模式以不同的时间分辨率编码信息（图4c）。自上而下的处理，通过高级联合皮层（AC）和感觉皮层之间的跨频相位-振幅耦合来介导，可能参与控制信息流。在这个场景中，AC（高级联合皮层）神经振荡被调谐以促进来自SM2的信息传播并抑制来自SM1的信息流，这允许有效的刺激分离（图4c）。此外，在这个例子中，刺激前神经动力学也相关，因为刺激前神经活动中的慢相位耦合为选择时间模式比SM1中呈现的刺激更慢的SM2刺激创造了偏好（图4c）。

整合

      多时间尺度动力学也可能用于整合感觉信号，在这种情况下，SM1和SM2在一个时间尺度上的时间结构不同，但在另一个时间尺度上相关。在这样的情况下，我们提出与高阶联合区域的相位-振幅耦合可能促进跨感觉模态的信息整合。例如，AC（高级联合皮层）与分别编码SM1和SM2信息的感觉区域Cx1和Cx2之间可能发生增强的功能耦合，这些区域在不同的时间整合窗口中编码信息，但它们在较慢的时间尺度上共享时间结构（图4d）。在这种情况下，低频（δ到α）频带的自上而下处理可能对多感官整合很重要，特别是当涉及注意力选择过程时（见"注意力"部分）（图3b）。通过跨频耦合（如相位-振幅耦合），这些高阶皮层中较慢的振荡节律可能与反映感觉信息自下而上处理的感觉区域高频振荡相互作用。重要的是，这些提供长时间整合窗口的低频振荡似乎特别能够适应环境的变化。此外，在描述的场景中，感觉信息的整合可能通过感觉区域（Cx1和Cx2）两个更快节律之间的包络耦合进一步增强（图4d）。

跨模态促进

      另一个相关的多时间尺度场景可能涉及通过相位重置的跨模态促进（图4e）。一个感觉模态（SM1）中的显著刺激不仅可以重置该模态的感觉皮层（Cx1）中的持续振荡，还可以重置另一个模态（SM2）的感觉皮层（Cx2）中的振荡。此外，从Cx1到Cx2的相位重置可能通过AC中的较低频率神经振荡进一步增强，从而优化，使SM2输入在最佳相位到达Cx2（图4e，SM2中的琥珀色刺激）。相比之下，没有重置到最佳相位的竞争SM2输入在到达Cx2时不会被放大（图4e，浅琥珀色刺激）。这样的场景与现有的视听语音整合证据相符（见"语音处理"部分），这些证据表明相位重置确实促进了听觉刺激处理，并且慢振荡中的全局网络调制可以影响跨不同时间尺度的嵌套高频局部网络（图3a）。我们提出，相位重置可能构成多时间尺度跨模态处理的一个基本组成部分。

选择

      第四个场景说明了多时间尺度动力学对多感官竞争和注意力选择的相关性（图4f）。在这个场景中，我们提出AC中的低频振荡特别与各自感觉皮层（Cx1和Cx2）中注意力选择的输入（SM1和SM2，琥珀色刺激）的整合时间窗口对齐。通过相位-振幅耦合，这种对齐可能允许有效整合来自不同模态（SM1和SM2）的相关多感官信息。相比之下，竞争的无关输入（图4f，SM2中的浅琥珀色刺激）的处理将被减少或至少不会被放大，因为感觉皮层（Cx2，虚线灰色曲线）中的相应信号与AC中的慢振荡相位不能最优对齐。通过这种方式，多时间尺度动力学可能支持相关感觉输入的并行增强和整合，同时有效抑制竞争无关感觉信号的选择。

      总的来说，我们提出多时间尺度神经动力学在多感官整合中起关键作用，可能对多感官信息的多路复用编码以及感觉信号的整合、分离、选择和路由至关重要。我们的观点强调内在生成的动力学和通过慢速和快速振荡之间的跨频耦合实现的自上而下处理的作用。这里讨论的概念的一个含义是，可能会出现一个关于振荡的更一般性观点，这表明不同的频带不一定介导严格不同的功能，而是能够在不同的相互作用时间尺度上实现灵活处理。根据大脑子系统以及它们部署的背景或任务，本节提出的机制可能服务于多个目的。例如，基于多时间尺度动力学的选择场景（图4f）不仅可以介导顶叶网络中的多感官注意力，还可以介导前额叶回路中的上下文依赖规则切换。

展望

      在这篇观点文章中，我们介绍了一个新的多感官处理概念，强调了多时间尺度神经动力学的关键作用，这建立在并超越了与多时间尺度网络动力学和大脑功能相关的著名概念之上。尽管我们在此倡导的多感官整合的多时间尺度概念得到了许多实验证据的支持，但其许多含义仍有待未来研究验证。

      需要进一步调查的一个问题是不同时间尺度之间的关系。这里提出的多感官整合的多时间尺度概念强烈预测了在不同时间尺度上运作的神经动力学之间的因果相互作用，这可能使功能层级的出现成为可能（例如，在语言处理或工作记忆中编码部分-整体关系）。然而，这一预测尚未在实验中得到验证。另一个重要的未解决问题涉及多时间尺度动力学的尺度特定（振荡）特征和无标度特征之间的关系。模型证据表明，后者可能对前者产生重要影响。该建模研究发现，大脑网络的临界状态，如幂律缩放和长程时间相关所反映的，其特征是中等水平的振荡相位耦合，这允许网络状态的快速变化。然而，这仍需通过适当的干预在实验中进行验证。第三个问题涉及皮层下结构（如上丘或枕核）在多感官整合底层多时间尺度动力学出现中的潜在作用，这需要阐明。最后，证明多时间尺度相互作用对多感官整合的功能相关性也意味着识别可能的读出机制，这些机制利用这些神经动力学来产生行为。解决这四个问题将需要结合神经生理记录、计算建模和靶向神经刺激。

      在行为水平上，使用建模方法，如贝叶斯框架和多感官相关检测器，已经大大推进了我们对多感官整合的理解。近年来，尝试将行为模型与功能神经成像和神经生理数据链接起来的多感官范式研究已经开始。这种神经信息指导的建模方法在测试上述一些开放研究问题方面具有巨大潜力，特别是考虑微回路结构在生成多时间尺度动力学中相关细节的方法，如不同皮层层神经群体的作用。虚拟大脑的全脑建模，可以将多时间尺度神经动力学与复杂网络架构结合起来，是另一种具有巨大潜力的方法。然而，这种全脑方法在解释神经回路的神经生理复杂性方面仍然有限，需要进一步完善才能用于研究多感官整合底层的多时间尺度动力学。重要的是，还需要计算建模方法来链接不同空间尺度的神经信号，例如，从非侵入性神经群体信号记录中推断细胞水平参数。

      在研究多感官整合的多时间尺度神经动力学方面，大脑刺激技术已取得重要进展。一个有前景的方向是使用非侵入性大脑刺激技术（如经颅交流电刺激）开发闭环应用。现在可以以个性化、相位依赖的方式靶向和操纵大脑振荡，例如在振荡周期的个体峰值或谷值精确刺激。为了研究多时间尺度动力学在多感官整合中的因果作用，应用结合多个频带刺激的交流电刺激方案，或使用模仿神经信号包络无标度动力学的幅度调制交流电刺激可能很有前景。因果动物研究也具有巨大潜力，因为光遗传学刺激可以精确地靶向大脑区域和神经元亚群，从而更具体地解决多时间尺度神经动力学底层的细胞和突触机制。

      此外，研究多感官整合底层的多时间尺度动力学对于改善我们对精神分裂症或自闭症谱系障碍（ASD）个体中改变的多感官处理的理解也可能很重要。ASD和精神分裂症研究中的一个一致发现是视听整合时间窗口的扩大，并且存在两种疾病中跨模态预测编码改变的证据。这些多感官缺陷可能与异常的多时间尺度神经处理有关，表现为异常的跨频耦合和无标度网络动力学的改变。然而，关于精神分裂症和ASD个体多感官处理改变底层多时间尺度神经动力学的研究仍然很少。

      此外，多时间尺度动力学和多感官整合的研究可能对改善感觉障碍个体和其他临床人群的多感官神经技术有重要影响。已经成功应用的例子包括用于治疗幻肢痛和神经病理性疼痛的多感官刺激，或优化盲人或视力部分丧失个体的视触反馈装置。最近，在开发用于治疗神经病理性疼痛的脑-计算机接口方面取得了进展。一种多感官刺激方法涉及使用机器学习技术实时测量多个时间尺度的疼痛，这反映在神经振荡中，用于控制刺激。最后，在开发和优化先天性盲人的视触反馈装置时，应该充分考虑多时间尺度神经动力学。

      多感官整合的多时间尺度神经动力学研究才刚刚出现，许多开放性问题仍待解决。建模和大脑刺激技术的进展将有助于测试从我们在这篇观点文章中提出的多感官整合多时间尺度概念中得出的预测。我们关于多感官整合的多时间尺度神经动力学的概念可能具有重要含义，并指导多感官处理领域及其他领域的未来基础和临床研究。