自发二元行为预测人际神经同步(INS)的出现

导读

人际神经同步(INS)正在成为预测多人协调、沟通和合作成功等社会互动的有力标志。由于对INS的起源知之甚少，本研究测试了INS是否以及如何从自发的二元行为中产生。要求一对参与者在不说话或做出共同语言手势的情况下互相看着对方，并记录他们的神经活动(EEG)和行为(全身运动、眼球运动和面部表情)。本研究结果发现：首先，尽管没有结构化的社交任务，但当参与者看到对方时，INS就会自发出现。其次，这种自发的INS，包括特定的频谱和地形特征，不仅反映了个体内神经活动的调节，而且反映了神经活动的实时和成对特异性耦合。第三，本研究使用最先进的视频图像处理和深度学习，提取了三个显著的社交行为线索(身体运动、目光接触和微笑)的时间进程，并证明了这些行为也在二元组中自发同步。第四，本研究探索了INS在这种同步社交行为中的相关性。使用互相关和格兰杰因果分析表明，同步的社交行为可以预测INS。这些结果初步证明了研究自然和无约束条件下的人际神经和行为同步的可能性。最重要的是，INS可以被看作是两个耦合神经系统的一种涌现特性：一种由实时二元行为促进的夹带(同步)现象。

前言

同类社交互动是我们生活中最复杂和最关键的部分之一。为了成功地适应社会环境，我们与他人的大脑之间必须进行信息交流，从而导致我们对伙伴内心状态和行为信息的持续和交互更新。这种持续的交流和更新推动了我们的社交互动，并可能最终影响我们预测和适应他人行为的能力。那么，个体在社会交往中是如何完成这种信息传递的呢？

人际神经同步(INS)——即互动双方之间神经活动的时间同步——被认为是一种调节人际信息交换的机制。它基于这样的观点，即神经振荡反映了皮层兴奋性的瞬时状态，因此假设人际同步可能有助于个体协调其行为，甚至共享其内在的认知或情感状态。这一观点得到了一些研究的支持，这些研究表明INS可以预测社交互动的成功，而社交互动通常是使用涉及协调、合作或口头交流的结构化任务来测量的。

目前，人类INS研究主要集中在INS的强度与特定的“结构化”社会任务之间的关联，即根据任务指令实现集体目标。这种方法足以建立INS与社交行为之间的关系，甚至在某些情况下可能表明INS对社会行为具有直接影响。然而，仅凭这种方法并不能阐明INS最初是如何产生的。尽管这个问题非常关键，但在该研究领域中却鲜有关注，通常认为INS要么是由任务本身引发的，要么是由通常不被监测到的微妙行为线索引发。值得注意的是，当测量这些线索时，它们经常与任务执行混淆在一起，例如，当使用肢体语言来加强口头交流时就会发生这种情况。

为了阐明INS的起源，本研究设计了一项超扫描研究，该研究不强制进行结构化的社交互动。这使我们能够测量自发的大脑活动和行为，而不受特定任务的限制和混淆。本研究招募了23对参与者，并要求他们自发地看着对方(图1a)。不允许说话或做共同语言手势。通过同时记录两名受试者的脑电图(EEG)来测量INS。结合眼动追踪和自动化(基于深度学习)视频分析，本研究还记录了一些行为测量指标，使我们能够估计三个基本行为线索的时间展开：目光接触、身体运动和微笑。本研究整合了这些神经和行为测量结果，并使用分层贝叶斯模型和格兰杰因果关系等计算方法研究了它们的实时相互依赖性。

图1.实验设置与设计。

本研究检验了两个假设：首先，在没有结构化任务的情况下，INS是否会自发出现。为此，本研究操纵了隐含调节社会行为的两个因素：人际视觉接触和人际空间接近(图1b)。其次，假设这种最小的社会条件足以调节INS，那么特定的行为线索可以预测INS。在检验第二个假设时，本研究比较了两个模型：一个模型是一个参与者的个体行为作为信号来观察INS；而第二个模型则需要这样的行为得到回应。

材料和方法

参与者

46名参与者(26名女性；平均年龄为21.43岁，范围为18-30岁)组成23对(13对同性别二元组)。所有组成二元组的参与者彼此熟悉(熟悉年限为6.59±5.08 SD年；主观接近度评分为7.87±2.27 SD，评分范围为1-10分，其中1分表示低接近度，10分表示最高主观接近度)。参与者视力正常或矫正至正常，无心理或神经系统疾病史。所有参与者都提供了书面知情同意书，并获得了25欧元的报酬。所有实验程序均获得当地伦理委员会批准，并按照修订版《赫尔辛基宣言》的原则进行。

实验设计与程序

该研究包括四个主要的实验条件，根据2(人际视觉接触：接触、无接触)×2(人际空间接近(参与者之间的距离是3米还是1米)：远、近)析因设计进行组织(图1b)。该设计还包括两个控制条件，称之为“积极”和“消极”。积极控制条件涉及一项社会任务(即，牵手)，该任务之前被认为与INS有关。消极控制条件(基线)要求参与者在两个单独的房间里休息(图1b)。在这种基线条件下，参与者不共享相同的环境，并且无法以任何方式交换信息。因此，本研究假设在这种“基线”条件下不会出现INS。

本研究收集了6个与消极控制条件相关的试次(其中一半试次在实验开始时收集，另一半在实验结束时收集)，每个试次持续2分钟。对于所有其他条件，每个条件收集了3个试次，共21个试次。与实验条件和积极控制条件相关的试次被进一步分为三个block，每个block包括5个试次，其顺序是随机的(注意：两个远和两个近条件总是相互影响，所以尽量减少参与者在整个实验过程中的移动)。

在实验开始之前，向参与者介绍有关数据收集设备的信息。在整个实验过程中，他们被要求放松并自发地看着对方(除非两名参与者之间有屏幕阻挡；参见图1a)。特别是，要求参与者放松，表现自然，并在可能的情况下看着对方(不一定要有目光接触)[这是实验者在任务开始之前给参与者宣读的指导语(意大利语)：“Il vostro compito è semplice：restare rilassati sulla sedia, comportarsi in modo naturale e, quando è possibile, Guardare l'altra persona (non necessariamente negli occhi)]。参与者不被允许通过口头或语言手势进行交流，并进一步明确指出，参与者并不一定需要看着对方的脸或眼睛，但通常会被要求看着对方的身体。在实验结束后，参与者被告知实验的目的和范围。整个实验过程包括任务说明、设备准备(双脑EEG、双眼动仪、双视频记录)和事后情况说明，耗时约2.5小时。

行为和神经记录

实验过程记录了两名参与者的神经活动(使用双脑电图)、眼球运动(使用双眼动追踪)和视频。视频记录被用于事后量化身体运动和面部表情(特别是微笑行为)。采用python编写的自定义库协调了这种异构设备的同步。该库提供了一个图形用户界面(GUI)，用于记录参与者的数据、平衡实验条件以及在设备之间生成同步的触发信号。该GUI是使用PySimpleGUI包(https://pypi.org/project/PySimpleGUI/)编写的。该库与双脑电图系统、两个独立的摄像机和双眼动追踪系统接口。采用64导Ag/AgCl活性电极，根据扩展的国际10-10系统(Biosemi Active-2 system)记录EEG数据，采样率为2048Hz。

神经和行为数据的整合

①瞬时同步

通过计算两名参与者之间的瞬时相关性来估计时间同步INS，重点关注视觉条件(即两名参与者看向彼此时)。本研究仅关注与先前INS分析得出的三个显著团簇(即一个α团簇，一个β团簇和一个γ团簇)相关的功率时间序列，并获取每个参与者的功率时间序列。首先，减去它们的均值，然后归一化为单位长度。然后将此归一化数据的每个时间点表示为2D空间中的向量，其中坐标轴对应于每个参与者的归一化数据。然后，取该向量所对应的两个角度中较小的角度与等距线正交来计算相关指数。在这种情况下，90°角表示完全相关，而45°角表示无相关性。由此获得的瞬时INS被最大程度归一化，取值范围为0到1。本研究还估计了两个参与者之间的行为同步性(再次关注视觉条件)。为此，将行为数据(目光接触、微笑和身体运动)作为神经信号来处理，从而得出瞬时行为同步的估计值。然后将这种行为同步重采样至10Hz，以匹配瞬时INS的采样频率。

②计算建模

本研究使用贝叶斯分层线性回归从行为同步性(目光接触、身体运动和微笑)来预测INS。在第一个分层模型中，根据离散化的行为数据预测了INS。具体来说，对于离散的目光接触，首先估计了每张图像上伙伴的面部区域(使用OpenPose估计的地标)。然后，将该信息与眼动仪获取的注视信息相结合，得到一个二进制编码(注视位置与面部位置重叠为1，否则为0)。对于微笑和身体动作的离散化数据，使用均值+1个标准差的阈值。该分析显示，在视觉条件下，参与者有21.20%的时间看着对方的脸部(其中20.48%与伙伴同步)，14.16%的时间互相微笑(其中35.48%与伙伴同步)，18.38%的时间里进行自发的身体运动(其中22.84%与伙伴同步)。接下来，本研究比较了两个分层模型，测试了一个参与者的个体行为作为信号是否足以观察到INS(IND模型)，或者这种行为是否需要互相回应，因此在两个参与者中同时发生(REC模型)。第二个分层模型则从连续的行为数据(即非二进制数据)中预测随时间变化的INS。所有贝叶斯建模均使用“pymc3”进行，而模型选择则使用“arviz”软件包进行。

③互相关

本研究考察了行为同步性是先于还是在INS之后发生。为此，本研究对神经和行为同步性的瞬时估计(分别针对三种行为和三个团簇)在不同滞后(±10s)下进行了互相关分析。使用双侧单样本t检验对每个点的互相关系数进行了显著性检验。使用错误发现率(FDR)对获得的p值进行校正。

④格兰杰因果分析

本研究进一步采用格兰杰因果分析来确定神经和行为同步之间的时间关系，即行为同步是否与格兰杰引起的神经同步，反之亦然。给定两个变量X和Y，如果X的过去信息确实传递了关于Y未来的信息，也就是说，对变量Y的预测效果要优于只单独由Y的过去信息对Y进行的预测效果，即变量X有助于解释变量Y的将来变化，则认为变量X是导致变量Y的格兰杰原因。利用向量自回归(VAR)模型理论，以多元时间序列变量模型为基础的方法操作格兰杰因果关系。应用格兰杰因果对团簇(每个簇包含1200个数据点)的连续功率时间序列进行分析。这些时间序列比该领域常用的时间序列要长，并且这是为了弥补每个条件只有三个试次的限制所采取的措施。然而，需要注意的是，仅使用少量试次进行格兰杰因果分析可能导致估计结果的可变性，因此可能不太理想。因此，建议未来的研究尽可能采集更多的试次。然后，对这些数据进行z评分，并估计VAR模型的信息准则(赤池和贝叶斯)(模型阶数估计的最大模型阶数=15)。使用贝叶斯模型阶数来拟合VAR模型。然后使用所得回归系数获得自协方差序列，从而得到成对条件的时域多元格兰杰因果关系(MVGCs)。采用显著性检验来比较两个方向之间的差异。由于数据不符合正态分布(Anderson-Darling检验ps＜0.05)，因而使用非参数Wilcoxon符号秩检验。此外，使用MVGC MatLab工具箱进行格兰杰因果分析。

结果

INS通过人际视觉接触自发地产生

本研究将INS参数化为电极和子频段特异性EEG功率时间进程之间的Pearson相关，这些时间进程是从二元组的两个个体中测量的(图2a)。采用完全数据驱动的方法(即基于团簇的置换检验)比较了不同条件下的INS。INS簇代表了在时间上具有类似演变的同源头皮区域的活动。

图2.人际神经同步(INS)的自发出现。

当二元组中的两个参与者能够看到对方时，INS就会自发出现，无论他们的人际空间距离如何(即彼此坐得远(3m)或近(1m))。这种INS(仅由人际视觉接触介导)表现为beta(βenv=13-30Hz)和gamma(γenv=31-95Hz)EEG波段包络的脑间相关性(图2；βenv INS簇的p=0.02，Cohen’d=0.62；γenv INS簇的p=0.002，Cohen’d=0.63)。βenv INS簇呈现出中央-后部地形结构，并且偏向右侧。γenv INS簇具有双侧枕部地形结构，这表明存在明显的视觉皮层活动。当比较视觉条件与基线时(图2b)，以及比较视觉接触和无视觉接触条件下的INS时(无论人际空间接近度如何，图2c)，就能明显看到这些团簇。

INS与互动(同步)行为相关

在证明了INS会在两个人仅仅相互注视时自发产生后，本研究搜索了与自发INS相关的行为因素。对于此分析，本研究重点关注视觉接触条件，即两个参与者可以看到彼此的实验条件。对多种行为的视频记录进行定性评估确定了最常见的三种社交行为，包括：(i)目光接触，(ii)身体运动(即任何身体部位的运动)，以及(iii)微笑。使用基于深度学习的自动化分析，本研究提取了每个参与者这些行为的时间进程(图3a)。接下来，计算INS的时间进程，即瞬时INS，这是一种用于捕获同步中时间分辨变化的指标(参见图4a)。

图3.自动提取行为线索及其人际同步。

图4.行为线索预测人际神经同步(INS)。

然后，本研究测试了瞬时INS是否与以及如何与这些行为相关。为这种互动制定了两种潜在模型，即IND模型和REC模型。这些模型通过阈值化连续行为线索，并使用逻辑XOR运算(对于IND模型)或逻辑AND运算(对于REC模型)进行形式化分析。使用帕累托平滑重要性抽样留一法交叉验证(PSIS-LOO-CV)比较了这两个模型的性能。结果表明，REC模型对γenv INS团簇的预测性能更好，而IND模型对αenv和βenv INS团簇的预测性能更好。因此，互动性的社交行为(目光接触、身体运动和微笑)对γenv INS的预测效果优于非互动社交行为(即二元组中仅由一个个体执行的行为)。这一结果表明，与大脑活动类似，某些行为可能在二元组中同步。相关性分析证实了这一推测，二元组的两个参与者之间在身体运动(p＜0.001)、微笑(p＜0.001)，以及目光接触(p=0.0456)上确实存在显著相关性(随着时间的推移)(图3b)。值得注意的是，就像INS一样，这些同步行为在没有指示任务的情况下也会发生。

映射特定行为上的INS团簇

本研究使用贝叶斯分层线性回归方法估计了INS团簇与同步行为之间的关系，从瞬时行为相关性预测瞬时INS。首先使用一个模型来预测INS，该模型包括了所有三种探索的社交行为：目光接触、身体运动和微笑。该模型的性能优于零模型(二元组之间的随机变化)(图4b)。具体来说，使用PSIS-LOO交叉验证的模型比较结果表明，社交行为模型比各自的零模型都更好地解释了INS方差(表1)。

表1.大脑-行为关系的模型性能。

然后，进一步考察特定同步行为的贡献，检查了回归参数估计值的后验分布。值得注意的是，γenv INS团簇可由身体运动和微笑显著预测(后验分布重叠(PP|D)[微笑＜0]＜0.001，PP|D[身体运动＜0]＜0.001)。此外，βenv INS团簇可由目光接触显著预测(PP|D[目光接触＜0]=0.042)(图4c，表2)。最后，任何同步行为均未显著预测αenv INS团簇(p＞0.05)。

表2.大脑-行为关系的回归系数估计。

同步行为预测INS

在确定了瞬时INS与同步社会行为之间的紧密关系后，接下来的目标是确定这些变量之间的时间关系。为此，首先对每个特定的社交行为和INS团簇分别进行了INS和行为同步的时间序列交叉相关分析(图5a)。该分析结果表明，同步的社交行为，特别是身体运动和微笑，与γenv INS同时发生(图5b)。值得注意的是，同步微笑行为略微先于INS发生(见图5b中的插图)，~200ms的时滞。这种精确的时间关系仅在γenv INS团簇中被确定，而αenv和βenv INS团簇与同步行为之间没有明显的时间关系。

图5.INS与同步社交行为的时间关系。

接下来，为了进一步揭示INS与社交行为之间的关系，并识别可能存在可变时间滞后的依赖关系，本研究使用了格兰杰因果分析，这旨在确定同步社交行为是否会引起格兰杰因果INS，反之亦然。结果表明，INS和同步社交行为之间存在格兰杰因果关系，所有成对条件的时域多元格兰杰因果关系(MVGCs)均显著高于0(ps＜0.001)。更重要的是，行为同步性对INS影响的MVGCs明显高于INS对行为同步性的MVGCs(ps＜0.05)，这意味着行为同步性更有可能导致格兰杰因果INS。这一结果在所有INS团簇和社交行为中都具有普遍意义，这意味着即使我们无法观察到社交行为与αenv和βenv INS团簇之间的固定时间关系，但这些INS团簇仍然可能是由同步的社交行为引起的，可能在不同试次和/或二元组中有不同的时间滞后。

结论

本研究通过记录参与者的自发行为和大脑活动来考察人际神经同步(INS)的起源。研究结果发现，尽管不使用结构化任务，但当参与者只是看到彼此时，INS就会自发出现。这种观察到的INS具有特定的频谱和地形特征，包括额叶α(αenv)、右后β(βenv)和枕顶γ(γenv)的EEG活动，不仅反映了个体内神经活动的调节，而且反映了神经活动的实时和成对特异性耦合。为了探究自发INS的行为相关性，本研究使用最先进的视频图像处理和深度学习，提取了三个显著的社会行为线索(身体运动、目光接触和微笑)的时间进程，并证明了这些行为也在二元组中自发同步。这些结果初步证明了研究自然和无约束条件下的人际神经和行为同步的可能性。

参考文献：Spontaneous dyadic behaviour predicts the emergence of interpersonal neural synchrony.

https://doi.org/10.1016/j.neuroimage.2023.120233