社交神经科学从口头交流的超扫描研究中学到了什么?

研究人际语言交互的神经认知过程的文献日益增多,表明参与口头交流的参与者出现了神经同步。然而,是否可以将研究结果解释为超出皮层功能的观察,并扩展到交流者之间的相互理解,这样的问题已经出现。本文提供了来自脑电图(EEG)和功能性近红外光谱(fNIRS)超扫描研究的证据,这些研究研究了通过口语进行交流的参与者的脑间同步(IBS)。根据每项研究中指定的交互类型,将研究分类为:知识共享;轮流进行的语音协调;合作、问题解决和创造力;以及自然讨论范式。同步主要出现在前额和颞顶联合区,这可能反映了镜像和心理化系统的激活。我们认为,这些文献对于推进我们对IBS和交流者之间相互理解的理解作出了重要贡献。我们最后提出了未来研究的建议,包括分析方法和实验条件,并假设受大脑启发的神经网络是通过超扫描更好地理解IBS的有前途的技术。本文发表在Neuroscience & Biobehavioral Reviews杂志。可添加微信号1996207406318983979082获取原文及补充材料,另思影提供免费文献下载服务,如需要也可添加此微信号入群)。

亮点:

• 在口头交流的超扫描研究中识别到同步性的出现。

• 识别知识共享、轮流交谈和自然讨论范式。

• 同步主要出现在前额和颞顶部区域。

• 第二人称神经科学有助于我们理解人际交流。

• 建议新的实验条件和深度学习数据分析技术。

关键词:超扫描、口头交流、社交互动、脑间同步(IBS)

1.引言

      “同步”或“在相同的波长上”是常用来描述与他人社交和谐或一致感觉的成语。近年来,认知神经科学家开始探索在社交互动(如口头交流)期间激活的认知过程,并检查支持社交认知的皮层功能性和连通性(参见Redcay和Schilbach,2019年的回顾)。这个新兴的研究领域,被称为“第二人称”或“双脑”神经科学,基于这样一个假设:参与社交互动,与观察社交互动(被称为“第三人称”神经科学)有重叠但也有不同。早期的双脑研究调查了参与者从事模仿、合作和竞争任务的情况(例如,Astolfi等人,2010年,2012年;Cui等人,2012年;Dumas等人,2010年;Montague等人,2002年)。随着时间的推移,研究数量增加,实验范式的多样性和复杂性也增加,以检查通过需要合作、竞争和欺骗元素的复杂策略进行互动时的功能连通性,到在一系列生态环境中产生和接收语言,包括教育、创造力和问题解决场景(例如,Antonenko等人,2019年;2018年;Dikker等人,2017年;Mayseless等人,2019年;Xue等人,2018年)。

     除此之外,第二人称方法已经扩展到调查在咨询会话和工作场所年度绩效评估的角色扮演中发生的社交互动(Balconi等人,2020年;Zhang等人,2018年)。其他最近的研究建议将其应用于通信不成功的情况;例如,对于那些有神经系统疾病(例如,自闭症谱系障碍、精神分裂症、边缘性人格障碍)的人,他们可能正在接受心理治疗、神经反馈或其他临床干预(Pan和Cheng,2020年;Wang等人,2020年)。从这个不断增长的文献中,我们明白到,在社交互动期间参与的认知过程分享了一定程度的功能连通性,这是由于来自集体心理过程的动态模式的引导所导致的(Fedorenko和Thompson-Shill,2014年;Redcay和Schilbach,2019年)。

       第二人称神经科学方法中出现的一个核心概念是由于人们在社会介导的环境中互动而人脑之间的同步(IBS)的前提,这是由于人们之间的大脑信号的协调。通过神经影像技术进行IBS(脑间同步)的测量,通过计算大脑活动之间的动态相位一致性来估计功能连通性或同步的程度(Babiloni和Astolfi,2014;Balconi等人,2017;Konvalinka和Roepstorff,2012)。一般来说,认为IBS依赖于许多因素,包括社交活动的类型、互动的环境和重要性,以及伙伴之间关系的性质,通常显示耦合证据的神经区域是与社会认知、镜像和心理化系统以及语言网络相关的颞顶部和前额区域(Fedorenko和Thompson-Shill,2014;Gvirts和Perlmutter,2020;Redcay和Schilbach,2019)。本文侧重于口头交流的两人神经科学研究中报告的IBS脑间同步)

      语言是人类社交互动的基本元素,相互交流依赖于人们之间的动态相互作用(Markova等人,2019;Berwick等人,2013)。语音的产生和接收,特别是在声音信号形成和处理发生的较低水平,最初被认为是关注不同的皮层区域,说话主要使用左前额皮质的布洛卡区,而听则使用被称为Wernicke区的左侧颞区。目前,关于语音处理的功能解剖学的普遍理解呈现了一个双流模型,其中左侧优势的背侧流将声音信号映射到前额区的发音网络,而双侧组织的腹侧流处理语音信号的理解(Hickok和Poeppel,2007)。基于此,认为话语的认知结构是围绕在话语产生和接收期间激活的功能连接神经位置的网络构建的(Fedorenko和Thompson-Shill,2014)。在说话者-听者互动期间使用的神经区域的重叠导致这些区域在口头交流期间的耦合,通常包括一个延迟,因为信号从产生者传递到接收者。将这一点扩展到个体大脑之外,构建交谈者之间的意义需要的不仅仅是声音信号的产生、接收和处理,而且涉及进入动态概念同步以克服含义的模糊性,并参与相互理解的事件(Schoot等人,2016;Stolk等人,2016)。

      研究显示,语音节奏、速率和语法的同步有助于信息的传输;然而,要在交流过程中发生情境同步,交谈者需要成功构建有关讨论事项的类似概念模型(Menenti等人,2012;Schoot等人,2019)。因此,当人们交流时,他们不仅不断修改他们的行为和语言以响应不断变化的对话,他们还反复更新他们对谈话伙伴的期望和预测(Friston和Frith,2015b)。因此,有效的交流代表了在不同程度的语言和额外语言表示中同步的动态过程(Schoot等人,2016)。虽然同步的确切机制尚未完全理解,但已经提出了几种可能的机制。

      交互性语言同步理论(Pickering和Garrod,2014)假设,在交流中,语音产生和理解同步,这样,为了交流所需的话语过程 - 词汇、语义和句法 - 依赖于相关的大脑网络(Menenti等人,2011)。因此,口头交互中的语言同步由相似的神经模式维持(Pérez等人,2019)。语音理解和产生招募相似大脑网络的想法得到了语义、词汇和句法处理中涉及区域的重叠的支持(Menenti等人,2011,2012)。例如,包括听觉和左侧前额皮质的网络参与语音的主要感觉和运动方面,但在说话时只观察到运动皮质活动(Menenti等人,2011)。也就是说,尽管说话和听都相互使用语言系统的语言元素,但听不涉及大量的运动系统参与。

      Schoot等人(2016)提出了一个生成性理论模型,该模型是根据Friston和Frith的(2015a,2015b)预测编码框架调整的,其中交谈者的大脑信号可能会在不同层次的表示中动态同步。也就是说,当人们参与口头交流的时候,由于在涉及的各方之间建立了成功理解话语所需的共同注意力,因此超出语音-听觉包络的共享的人际神经振荡的耦合会发生(Friston和Frith,2015a;Schoot等人,2016)。因此,根据脑间神经耦合的动态,IBS(脑间同步)可能会在不同的层次上发生。也就是说,同步可能会在语言处理层(低层)通过语音-听觉包络同步以及在额外语言层(高层)通过相互解释正在讨论的情况发生,从而实现修改和适应共享的概念空间以实现相互理解(Schoot等人,2016;Stolk等人,2016)。

      总之,构建交谈者之间的意义需要的不仅仅是声音信号的产生、接收和处理。相反,它涉及进入动态概念同步,因为克服了含义的模糊性,并且分享了相互理解的情节(Schoot等人,2016)。迄今为止,社交互动和交流的研究已经集中在交互性大脑活动上,探索了交流者之间的功能等价性和时间相位协调,如IBS、耦合、同步或协同(Czeszumski等人,2020;Pérez等人,2017;Redcay和Schilbach,2019)。研究方法已经从传统方法扩展到超扫描,目的是同时测量多个大脑的大脑活动。与单人研究相比,超扫描允许在第二人称神经科学中更真实地估计社交互动,通过允许研究交互参与者之间的脑间活动模式(Montague等人,2002)。

       可以通过各种神经扫描/成像技术(包括电脑脑电图(EEG)、功能性近红外光谱(fNIRS)和功能性磁共振成像(fMRI))同时记录脑信号。每种测量方法都有其自身的优点和缺点。EEG以毫秒间隔测量大脑电信号 - 主要是锥体细胞的细胞外突触后电位(Luck,2005),成本低,记录方便且时间分辨率高。此外,由EEG机器引起的可忽略的听觉噪音(即,不像磁共振扫描仪的噪音)允许个体更容易自然连续地交流。尽管EEG提供了一些区域激活的指示,但低空间分辨率限制了可以精确定位特定神经活动区域的程度。功能性近红外光谱(fNIRS)提供了基于表面神经区域的氧合和脱氧血红蛋白浓度的高空间分辨率记录。然而,与EEG一样,fNIRS在提供有关皮质下区域的信息方面受到限制。它也仅限于感兴趣区域的研究,而不是全头皮参数的调查。

     fMRI具有更高的空间分辨率,允许从皮质到皮质下区域更精确地识别区域激活(Mu等人,2018;Wang等人,2018)。然而,考虑到fMRI在时间分辨率和扫描仪内可行执行的活动类型的限制,目前还不可能从两人研究中收集更自然的实验数据(Koike等人,2015;Mu等人,2018;Wang等人,2018)。

      在双重设置研究中使用的神经成像技术中,EEG和fNIRS目前是生态设置中最常用的方法,考虑到时间分辨率、实验设计、可行性和成本的优势(Babiloni和Astolfi,2014)。因此,本次回顾主要侧重于EEG和fNIRS研究。

     已经发布了几篇关于超扫描的系统性回顾(例如,Babiloni和Astolfi,2014;Czeszumski等人,2020;Dumas等人,2011;Konvalinka和Roepstorff,2012;Wang等人,2018)。然而,考虑到这些研究并没有专注于语言产生和接收期间的超扫描,以及近年来关于口头交流的超扫描研究一直在增加,因此这个领域需要更具体的回顾。因此,本文的目的是评估超扫描研究是否可以通过口语了解社交互动,并评估它在多大程度上可以了解支持个体之间相互理解的生物机制的知识(Konvalinka和Roepstorff,2012;Schoot等人,2016)。由于新兴的第二人称神经科学文献提供的证据表明,在社交互动中,更大的神经同步和人们之间的亲密度之间存在联系(例如,Redcay和Schilbach,2019),我们假设IBS(脑间同步)代表成功交流的人际神经标记。

2.搜索方法和纳入标准 

       2020年5月11日,我们在PubMed和Scopus数据库中进行了搜索,使用搜索参数(超扫描 OR 脑间同步)AND(社交互动 OR 社交交流),找到了149项研究。为了收集相关的已发布研究,两名研究人员根据系统评价和元分析的首选报告项目(PRISMA)指南(Moher等人,2009)独立进行了搜索,并根据纳入标准评估了研究:(1)IBS的超扫描研究;(2)使用EEG或fNIRS神经振荡记录;(3)参与者参与需要口头交流的互动(作为单向独白、双向对话或多人讨论);和(4)研究报告了对健康成人进行的原始研究的结果。检索到的研究根据其标题、摘要和关键词进行了筛选,通过Google Scholar对相关手稿的引用部分进行了进一步搜索和分析。通过讨论和进一步阅读文章解决了对纳入的选择中的任何分歧。所有作者都批准了最终列表。图1显示了代表研究选择的流程图。

图片

Fig. 1. 研究选择程序流程图。

3.结果 

      在这次回顾中识别并包括了二十九项研究(图2)。它们包括来自阿根廷、中国、以色列、意大利、日本、韩国和美国的研究。大多数研究使用了fNIRS设备,只有九项研究使用了EEG。参与者语言的顺序从最常见的是中文、英语、日语、西班牙语、希伯来语和意大利语,包括两项允许日语/英语和西班牙语/英语的语言组合的研究。用于测量社交互动中的口头交流的多种范式,包括课堂、合作、创造、面对面、眼神接触、第一和第二语言、教育、解谜和小组讨论设置。例如,Dikker等人(2017)在演讲、视频和课堂讨论情况中检查了教师-学习者和学习者-学习者自然互动的组合,Fishburn等人(2018)在参与者完成需要在共享意图性条件下的合作和创造性的七巧板拼图时观察了神经同步,而Xue等人(2018)评估了基于他们的创造性组合从事合作任务的配对的皮层同步性。基于实验范式的性质,研究文章被分类为四个类别:知识共享;轮流进行语音协调;合作、问题解决和创造力;和自然讨论。

图片

图2. 根据扫描方法、国家、实验范式和语言包括的研究。

       知识共享呈现了教师和学习者在教育环境中参与单人或对话的动态社交互动。这通常包括信息的连续传输和反馈,其中一个参与者扮演传输者/指导者角色,并与扮演接收者/学习者角色的另一个参与者(可能可以或不能参与提问)分享信息或叙述;轮流进行语音协调的研究通常包括成对的参与者,其中一个作为说话者,另一个作为听众,协调他们的口头交流以完成任务;合作、问题解决和创造性范式通常要求参与者合作以完成实验任务或活动,该任务或活动需要找到解决方案或原始答案;而自然讨论是指在一般不受其他范式限制的真实或准真实世界情况下的对话。必须承认,在某些情况下,由于研究人员使用了范式组合来最好地评估多方面的假设,因此会发生重叠。图3显示了四种类型的实验范式的表示。

图片

Fig. 3. 实验设计通信方法:(A)轮流进行;(B)知识共享;(C)合作、问题解决和创造性;(D)自然讨论。

      本次回顾中包括的研究通常采用小波变换相干性(WTC)和相位锁定值(PLV)同步测量方法,用于分析脑激活后记录的神经振荡的相位相干性(例如,Jiang等人,2012;Pan等人,2018;Pérez等人,2019),其中一些还进行了Granger因果分析(GCA)以确定方向性(例如,Ahn等人,2018;Pan等人,2018)。除了根据WTC确定同步外,Pan等人(2020)还应用机器学习技术根据实验条件对IBS进行分类。

3.1 知识共享 

      在评估知识共享中涉及的脑活动的十项研究中,有三项使用EEG进行,其余的则使用fNIRS进行(表1)。在分享知识时激活并表现出IBS的皮层区域包括前额区(Holper等人,2013;Liu等人,2019;Nozawa等人,2019;Pan等人,2018),颞顶区(Zheng等人,2018)和前额及颞顶区(Bevilacqua等人,2019;Dikker等人,2017;Pan等人,2020;Pérez等人,2017)。在Dikker等人(2017)的一个课堂研究中,IBS(脑间同步)从学生之间各种皮层区域的平均神经活动中出现,与讲座、阅读和视频条件相比,在互动课堂讨论中最为明显。此外,与其他配对相比,在课堂讨论之前进行相互眼神交流的配对中,alpha相干性最高,学生的IBS是社交动态和学生课堂参与度的可靠预测指标。Zheng等人(2018)在一种教师-学生知识共享格式中描述的一个值得注意的发现是,教师的颞顶联合区(TPJ)和学生的前颞上皮层(aSTC)中的时间滞后IBS(脑间同步)被视为有效教学的神经标记。然而,Liu等人(2019)在比较面对面和计算机中介通信条件时,发现左侧前额皮质(PFC)而不是右侧TPJ(rTPJ)中的IBS。在参与者参与先前物理同步的背景下,Nozawa等人(2019)报告说,教师和学习者之间的PFC区域的IBS得到了增强,并且与教师和学习者的融洽度正相关。最后,关于alpha波段波动活动的神经同步被检测到听者在前额区和说话者在中央区,以及关于听者在颞区和说话者在前额区的theta波段的神经同步(Pérez等人,2017)。

表1. 知识共享范式超扫描研究。

图片

图片

注释:功能性近红外光谱(fNIRS);脑间同步(IBS);电脑脑图(EEG);总体相互依赖(TI);相位锁定值(PLV);部分学习(PL);整体学习(WL);小波变换相干性(WTC);Granger因果分析(GCA);额下皮层(IFC);右侧颞顶联合区(rTPJ);前上颞皮质(aSTC);面对面(F2F);计算机中介通信(CMC);前额皮质(PFC);感觉运动皮质(SMC)。

3.2. 轮流进行语音协调 

      四项研究调查了在轮流进行的语音协调期间的IBS,并报告了不同的发现,其中四项中有三项使用EEG(表2)。在关于语音协调的早期研究中,Kawasaki等人(2013)显示,与人-计算机通信任务的前额区相比,人-人通信条件在侧向顶叶和颞区的alpha和theta波段中的IBS增加,并将其解释为显示语音节奏同步的时期。然而,Nozawa等人(2016)强调了集中在前额区域的耦合。Hirsch等人(2018)对比了交互和非交互条件,检测了血流动力学信号的变化,并在颞上回(STG;负责听觉处理、语言和社会认知)和亚中央区域(在语义分析期间活跃-因此在从句法结构中解释意义中起作用)中观察到IBS。IBS与Wernicke的区域(STG)重叠,但不与Broca的区域重叠。

表2. 轮流进行范式超扫描研究。

图片

注释:电脑脑图(EEG);脑间同步(IBS);女-女(F-F);男-男(M-M);女-男(F-M);人-人(H-H);人-机(H-M);基于小波的运动伪迹减少(WBMR);磁脑电图(MEG);镜像神经系统(MNS);加权相位滞后指数(WPLI);功能性近红外光谱(fNIRS);心理生理交互作用(PPI);颞上回(STG);亚中央区域(SCA)。

3.3. 合作,问题解决和创造力 

      合作、问题解决和创造力对IBS的影响已成为生态环境中研究的热门话题(Antonenko等人,2019;Fishburn等人,2018;Lu和Hao,2019;Lu等人,2019a,2019b;Lu等人,2020;Mayseless等人,2019)。七项研究采用了这些实验范式(表3),除一项外,所有研究都使用了fNIRS。IBS主要被识别为前额区域(Fishburn等人,2018;Lu等人,2019a;Lu和Hao,2019;Lu等人,2020)或前额及颞顶区域(Antonenko等人,2019;Lu等人,2019b;Mayseless等人,2019;Xue等人,2018)。

表3. 合作,问题解决和创造力范式超扫描研究

图片

图片

注释:功能性近红外光谱(fNIRS);前额皮质(PFC);女-女(F-F);男-男(M-M);女-男(F-M);脑间同步(IBS);右侧颞顶交界(rTPJ);小波变换相干性(WTC);右侧背外侧前额皮质(rDLPFC);现实呈现问题(RPP);前额皮质(PFC);替代用途任务(AUT);对象特性任务(OCT);前前额皮质(aPFC);后颞上回(pSTG);额下回(IFG);颞顶联合区(TPJ);镜像神经系统(MNS);心理化系统(MTS);右侧后顶叶皮层(rPPC)。

       Fishburn等人(2018)报告了在共同解决需要共享意图条件的创造性七巧板拼图任务中三人组在PFC区域的IBS。在一系列研究中,Lu和Hao(2019)以及Lu等人(2019a,2019b,2020)广泛支持Fishburn等人的前额区域同步的发现,即背外侧前额皮质(DLPFC),并在合作期间在颞部和顶部区域有额外的同步(Lu等人,2019b),特别是对于女-女伴侣(Lu等人,2020)。相比之下,与仅需要合作的对照条件相比,Mayseless等人(2019)在创造性任务设计期间发现了在前前额皮质/DLPFC和TPJ区域之间的不对称皮质位置的IBS。他们的研究指出,在连接认知控制与镜像神经系统(MNS)和心理化系统(MTS)的位置中,IBS增加了。在一项侧重于根据相似创造性水平配对参与者的研究中,Xue等人(2018)发现,与高创造性的人相比,低创造性配对在前额(右侧DLPFC)和右侧TPJ区域的IBS更大,可能反映了一种机制,以抵消创造性的限制。

3.4. 自然讨论 

     八项研究在自然设置中进行(表4),其中五项使用fNIRS。IBS主要被识别为前额区域(Balconi等人,2020;Jiang等人,2012;Lu等人,2019a;Pérez等人,2019)和颞顶区域(Dai等人,2018;Jiang等人,2015;Kinreich等人,2017;Zhang等人,2018)。在口头交流的开创性超扫描研究之一中,Jiang 等人(2012年)报告称,在面对面对话中参与的人在左侧额下皮层(IFC)区域的脑间同步(IBS)显著增加,而在独白和/或背对背状态下则没有。Kinreich 等人(2017年)包括作为夫妻或陌生人配对的双人口头交流,结果显示夫妻之间的神经同步与肯定情绪和社交凝视呈正相关,而陌生人之间的社交凝视时长与肯定情绪呈正相关,而不考虑口头/非口头交互或对话内容。在少数研究在使用第一和第二语言进行对话时的 IBS 的研究中,Pérez 等人(2019年)发现在母语中前中央区域的 alpha 波段中的 IBS 更为集中,在外语中的 IBS 更为分散,这表明根据用于口头交流的语言代码,IBS 有所不同。此外,自然范式已扩展到咨询模拟中,在 rTPJ 中发现了咨询师和客户之间的 IBS(Zhang 等人,2018年),最近在工作场所角色扮演中,也发现了经理和员工在年度绩效评估期间在前额和前极区域之间的神经同步(Balconi 等人,2020年)。

表4. 自然讨论范式的超扫描研究

图片

图片

注释:功能性近红外光谱(fNIRS);面对面(F2F);女-女(F-F);男-男(M-M);背对背(B2B);小波变换相干性(WTC);脑间同步(IBS);额下皮层(IFC);领导-跟随者(LF);跟随者-跟随者(FF);格兰杰因果分析(GCA);颞顶联合(TPJ);脑电图(EEG);现实提出的问题(RPP);前极皮质(FPC);背外侧前额皮质(DLPFC);第一语言(L1);第二语言(L2)

4.讨论

      这次回顾发现了说服力的证据,证明了参与口头交流的交流者之间的脑间同步性。尽管研究显示出变异性,反映了每个实验设计固有的区别和评估的感兴趣区域,但前额区在语言产生的过程中表现出增强的刺激,可能与增加的工作记忆负荷和注意力交互有关,就像颞顶区域一样,这些区域通常与听觉处理和社交互动有关(例如,Ahn et al., 2018; Dikker et al., 2017; Gvirts 和 Perlmutter, 2020; Mayseless et al., 2019; Xue et al., 2018)。还讨论了 alpha 波活动、不对称的入侵模式,以及面对面交流和合作中眼神接触的重要性。

      这些发现表明,通过社交互动进行的学习不仅仅是传递信息,还包括识别情感表达(Carr et al., 2003; Gallese et al., 2004),促进交流(Holper et al., 2013; Pan et al., 2018),并建立融洽的关系(Nozawa et al., 2019)。通过口头交流分享知识会在大脑与语音信封级别以及大脑与大脑级别激发入侵(Dumas et al., 2010; Pérez et al., 2017),面对面的交流可能有助于社会和神经同步(Bevilaqua 等人,2019;Liu 等人,2019)。这方面的一个例子是 Liu 等人(2019)观察到的左侧前额叶皮质(PFC)的内部神经同步(INS),这被解释为在需要共享理解协商的动态人际学习过程中,教师和学生之间信息的共同表征的交互性质。

      同样,轮流进行口头交互的焦点是涉及交谈者的语音节奏,他们不仅参与话语的内容和背景,还协调他们互动的持续时间、间隔、速率和时机(Kawasaki 等人,2013)。因此,已经报道了在前颞和中顶位置观察到的激活(Ahn 等人,2018;Nozawa 等人,2016),以及在交互条件下 alpha 波段抑制的存在(Ahn 等人,2018;Kawasaki 等人,2013),这表明轮流交谈需要交谈者付出相当多的工作记忆容量来协调他们的对话。这些研究因纳入相位同步的替代测量而显著,因为它们试图解密特定于轮流任务中固有的详细协调、时序和语音节奏的脑波对齐模式。

      有趣的是,在合作和自然讨论设置中发现的神经同步的非对称连接与轮流研究中显示的相似,特别是在前额和顶部区域之间(Ahn et al., 2018; Mayseless et al., 2019; Pérez et al., 2019)。这表明,在真实世界的社交互动和实验条件中,认知和协调的复杂动态都是一致的,两者都需要在交谈者存在的情况下传达额外的语言信息(Schoot et al., 2019)。此外,这些突出的皮层区域已经与心智理论相关联,其前驱是联合注意,被认为是理解我们在与他人的交际社交互动中适应他人的心理状态和意图的基础(Dumas et al., 2011)。

       除了涉及社交互动的杏仁核、眶前额皮质、内侧前额皮质和颞顶联合区外,镜像神经系统(MNS)和心理化系统(MTS)也根据认知和情感需求被暗示(Liu and Pelowski, 2014; Redcay and Schilbach, 2019)。两种系统都被用来预测和识别他人的交际信号,并进行有效的交流(Mainieri et al., 2013; Minagawa et al., 2018)。MNS(镜像神经系统)参与对社交互动至关重要的认知功能,如相互注视、模仿和手势,以及目标设定(Koike et al., 2019; Sperduti et al., 2014),而MTS(心理化系统)则与个人定向和意图意识的认知过程相联系,这是相互参与的共同调节所必需的(Sperduti et al., 2014)。在社交互动期间观察到前额和颞顶神经区域的激活表明,分别在由口语交流引起的IBS事件期间启动了MNS和MTS。Jiang et al.(2015)在面对面交流中左侧额下皮层(IFC)中出现的IBS被认为代表了MNS的开始,并被解码为表达和手势同步的指标,而Kawasaki et al.(2013)报告的TPJ区域的IBS期间MTS的激活和theta/alpha幅度调制被解释为显示社交认知和社交互动机制之间的共性。与此一致,Gvirts 和 Perlmutter(2019)最近假设,相互作用的伙伴之间的社交调谐源于主要在TPJ和PFC区域之间的同步,代表相互共享注意的系统。然而,尽管认为镜像和心理化系统在社交遭遇和神经耦合过程中起着互补作用,但两者之间的相互作用仍然知之甚少(Mayseless et al., 2019; Schilbach et al., 2013; Sperduti et al., 2014)。

      Alpha波抑制是最常报告的相位活动,特别是在轮流进行时,这可能反映了与联合注意和信息处理相关的短时记忆和社交协调,作为交谈者协调他们的时序和节奏所需。观察alpha带抑制和激发可能被解释为信息处理过程中神经元激活的一部分(Klimesch, 2012)。有人认为,alpha带振荡代表基本的认知过程,这是由于它们在抑制和时序中的作用,使得能够在时间、空间和上下文中选择性地访问知识和语义定位(Klimesch, 2012)。因此,参与口头叙述和自然讨论的参与者的抑制报告可能被视为反映在听觉接收处理和发音反应准备期间的感觉运动功能和神经区域间的协调,除了在参与者在对话中协调他们的贡献和角色(说话者-听者)转换以优化动态社交关系时形成联合注意。

      人际一致性可能源于较低级别的语音到大脑的锁定和作为信息以口头语言的形式从说话者传输到听者的共享交际过程的较高级别的连接(Pérez et al., 2017)。在不同语言和环境背景下进行的被审查研究中,表现出IBS的神经位置的相似性,包括第一和第二语言,乍一看与人类语言计算的共同神经基础的概念相符,这些基础共享相关的神经解剖结构(Berwick et al., 2013)。然而,尽管承认即使在口头叙述的研究中显示的IBS指向在口头语言的产生和理解期间神经功能的相似性,但也承认由于在说话和听的过程中IBS的存在是与大脑到语音同步同时并发的,因此被识别为语音和理解的标记的神经区域可能需要重新考虑以考虑这种同步(Pérez et al., 2017)。

     关于这些问题,根据交流者在人际交流中的角色,如轮流互动(Ahn et al., 2018)、领导者-跟随者(Jiang et al., 2015)、使用第一和第二语言(Pérez et al., 2019),或由于在说话和听的过程中使用了多个神经区域(Pérez et al., 2017),已经观察到了非对称的同步模式。作为对依赖于语言选择的非对称同步的回应,Pérez等人(2019)检查了第一语言(西班牙语)和外语(英语)中的神经与语音信号同步,并发现大脑相位与更熟练的语言之间的关联性更高。对于母语和外语,也发现了α波段的脑间耦合;然而,与第二语言相比,第一语言的这种强度更高。此外,通过显著的同步突显出来的神经区域在语言和交谈者的角色(作为说话者或听者)之间有所不同。一般来说,母语的同步主要出现在前中央区域,而外语条件记录了更分散的同步(前、中、颞、顶叶区域)。实际上,关于语言切换的研究已经报告了前扣带皮质(ACC)和DLPFC的激活,作为说话者从一种语言退出以参与另一种语言(Blanco-Elorrieta et al., 2018)。此外,这些结果可能表明,在处理不同的音位结构时,语音和理解所需的功能连接的差异,并且与这样一种信念相联系:即语言的认知架构可能需要参与神经区域的集合,包括核心和外围皮层区域,这些区域根据执行的特定语言任务而共同激活(Fedorenko和Thompson-Schill,2014)。这也可能支持在与意义相关的更高级别的语言表示期间共享神经解剖学的发现,但在与声学产生和接收相关的较低级别的语言表示中有更大的分离(Pérez et al., 2017;Pickering和Garrod,2014;Silbert et al., 2014)。

      面对面互动中眼神接触的重要性作为一个调节在知识共享和自然讨论范式中脑间同步(IBS)的因素而显现出来(Dai et al., 2018; Dikker et al., 2017; Jiang, 2012; Kinreich et al., 2017; Liu et al., 2019)。共享的凝视涉及交流的非言语社会方面,并且在教育背景中标志着在代表更大的人际同步或联系的条件下有效传递知识的发生,因此指出了在课堂中结合教师-学生关系、互动以及配对和小组讨论的机会以促进学习环境的教学益处(Dikker et al., 2017)。此外,眼对眼的接触也与负责语音产生、发音功能和语音接收的皮质区域的活动相关联(Hirsch et al., 2017)。最近的证据表明眼神接触作为交流者注意和情感状态的表达以及注意和人际同步的本能形式的重要指标的重要性(Koike et al., 2019)。实际上,说话者的凝视被认为是通过婴儿和成人之间的信息传递而被植入人类的(Leong et al., 2017)。然而,一些研究也发现,无论是否有眼神接触,当交流者在轮流分享信息时,大脑波都会同步(Ahn et al., 2018; Pérez et al., 2017, 2019)。因此,共享凝视的重要性可能依赖于上下文,并且需要未来的研究来澄清根据交流场景的确切联系和互动。

       除了通过共同的语音节奏刺激进行人际同步外,成功的交流需要处理言语表达,这涉及共享注意力和认知处理,因为说话者和听者在相互协商语言和上下文线索时参与,试图实现相互理解(Pérez et al., 2015, 2017, 2019)。这与合作/协作的主题相联系,这在涉及两个或更多参与者的创造性和/或解决问题场景的几个生态学研究中出现。除了说话者-听者的共同注意和协调外,这些实验设置需要更高的认知功能来完成共享任务,并且在前额和颞顶区域显示了IBS(例如,Fishburn et al., 2018; Lu et al., 2020; Mayseless et al., 2019; Xue et al., 2018)。在一个例子中,Xue等人(2018)在解决问题并提出他们的解决方案时,检查了有关创造力的配对组合。在共享意图的条件下,他们只在低-低配对中发现了前额皮质和右颞顶联合(rTPJ)的IBS,他们认为这提供了证据,表明这些配对利用相互理解和合作来克服他们固有的弱点并产生协同作用,从而提高性能。前额皮质中的IBS激活表明合作者开发了信息的相互解释,因为前额皮质,特别是左前额皮质,与MTS有关,并且吸收信息和理解,从而说明了它在需要深入相互理解的认知、解决问题、情感、社会和创造性努力中的关键作用。

      因此,我们认为,超扫描研究已经扩展了知识,不仅仅是观察皮质功能,而且有助于揭示人类交流和理解的共享认知和神经过程。因此,被审查的研究不仅对广义上的口头社交交流有意义,而且对于教学和学习在知识的传递和保留方面也有意义。首先,有效的教学需要将知识从教育者传递给学习者,当发送者和接收者建立良好关系时,这更有可能发生,并且可能通过更高的IBS来表示。因此,IBS可能是提高教学效果可能性的一个标志(Liu et al., 2019)。其次,促进面对面交流和眼神接触的课堂活动和配置可能是一种改善IBS和社交互动并增加教育参与度的方法(Dikker et al., 2017)。考虑到先前的知识,可能会进一步改善人际同步,但数字和计算机中介的通信设置可能需要修改行动方案(Liu et al., 2019)。关于组成,很少有证据发现熟人和性别对IBS和交流的影响(Nozawa et al., 2016),但最近的研究表明,女性的IBS增加可能代表她们在解决创造性问题时增强的行为互动、注意力和对伙伴的考虑(Lu et al., 2020)。

5.限制和未来研究的建议

       有人担忧如何区分由生理和运动信号相关的人为同步产生的IBS和同步。已经使用了许多分析技术和实验方法来解释和分离参与者脑波之间同步的起源,包括回归分析,检查浅层和深层信号(Nozawa et al., 2016),并建立限制运动、手势和面部表情的环境(Pérez et al., 2017)。因此,本次审查中包括的研究采取了措施,通过过滤和使用标准化技术(如小波变换)来解释生理伪迹和记录信号中的噪声。此外,由于说话(最有可能导致伪迹)在交流者之间很少同时发生,因此不太可能是相位振荡同步的源头(Nozawa et al., 2016)。此外,使用假发现率(FDR)统计程序控制小样本中的I型错误可能导致低估错误拒绝零假设的预期比例。这一点引出了样本量小和缺乏在不同人群、国家和队列中复制实验条件的研究的问题,以确定结果是否适用于不同年龄、性别、文化和语言群体。

     我们承认,这次审查排除了在口头交互过程中进行IBS的fMRI研究的包含。这其中一个原因是由于fMRI在交流者之间的互动实验中的使用较少,因为扫描仪的限制限制了在生态环境中从两人或多人研究中收集实验数据的活动(Koike et al., 2015;Mu et al., 2018;Wang et al., 2018)。然而,Spiegelhalder et al.(2014)提供了一个值得注意的例外,利用fMRI在实时口头交流环境中比较体素簇,并报告了与语音产生和听觉区域相关的IBS。此外,在与语音相关的大脑活动中激活了听觉皮层,这表明说话者可能在听自己说话,而在进行对话时,包括想象自己的生活事件时,启动了主视觉皮层,这被认为代表对指导文本的注意或视觉形象。因此,尽管与他们的实验设计和设备相关的限制,他们的研究揭示了与使用其他神经成像技术的实验中发现的类似的神经耦合的证据。

       此外,尽管IBS可能增强口头交流中的相互理解,但尚未显示IBS是共享理解的要求(Pérez et al., 2019)。这涉及到关于估计同步估计的方向性的问题。因此,一些研究已经结合了GCA和自回归方法来模拟交流者之间的因果关系,尽管还需要进一步研究(Ahn et al., 2018)。最后,到目前为止,还没有标准的计算模型存在于分析超扫描数据的时空动态。许多研究选择口头交流期间的不同时间段来研究神经同步,并主要采用传统的统计方法,如方差分析和相关技术,来比较不同位置和条件下的同步并评估关联(例如,Dikker et al., 2017;Jiang et al., 2012;Lu et al., 2019)。因此,我们在社交口语交流过程中从神经一致性和夹带阶段的分析中识别模式和解释时空动态的程度仍然不完整。为此,Pan 等人(2020)的最近研究成功地利用机器学习来分类对比教学条件下的脑-脑耦合。

为了进一步推进和深化口头交流中的IBS文献,未来的研究建议包括:

     1 分析语音在音位、形态、句法和语义层面,以研究语言内容的类型和形式(如语义歧义(MacGregor et al., 2020))是否与IBS相关,声学分析在运动和认知听觉信号产生和处理的重要性也可能如此。

     2 研究来自不同语言群体和文化背景的参与者,以在更广泛的背景中分析口头交流的过程,并提高口头交流期间超扫描的普遍性。此外,扩大对外语环境的研究可能会提供关于成功人际交流背后的对比神经激活和配置的见解,在许多新的生态有效的语言环境中。

      3 操纵实验条件以更仔细地检查MNS-MTS接口(Schilbach et al., 2013)可能提供有关社交交流期间它们之间相互作用的见解。

      4 这些超扫描研究的发现可能具有重要的临床意义,并提供有关社交交流期间出现的缺陷或功能障碍的见解;例如,使用神经反馈训练语音障碍的人(Crum, 2020; Pan and Cheng, 2020; Wang et al., 2020)。

      5 除了Bevilacqua et al.(2019)和Dikker et al.(2017)之外,大多数研究都集中于分析在一次实验中进行的数据。因此,纳入纵向研究设计,以检查参与者在响应各种条件的情况下IBS的演变,可能会提供有关IBS进展的重要见解。

      6 新兴的虚拟和增强现实技术可能提供实施富有想象力的实验条件的机会,并纳入创造性的社交和语言场景(Czeszumski et al., 2020)。

     7 最近开发的适用于时空数据的神经形态计算技术和用于皮层连接数据可视化的专用深度学习方法(Kasabov et al., 2016; Doborjeh et al., 2018, 2019)代表了有前途的未来方法。例如,可以在类似NeuCube的脑启发式脉冲神经网络(SNN)模型中测量和可视化多个主题在IBS之前和之后的演变连接性(Kasabov, 2014, 2018),以追踪和理解语言交流的动态和效果。

6.总结和结论

       本文检查了之前学者提出的关于口头交流的超扫描研究可以学到什么的疑问,并报告了神经科学研究的主要发现,这些研究涵盖了通过口语进行的不同类型的人类社交交流,并将发现分类为三种不同的研究范例:知识共享、轮流交谈和自然讨论。我们得出的结论是,研究口头交流期间的IBS的超扫描研究通过将理论启发的实验框架与各种语境中的实证数据相结合,推进了我们对人际同步的理解。最后,通过解决有关通过口头语言进行的社交交流中IBS的相关问题,并采用创新的分析技术,未来的研究将从一个坚实的基础出发,进一步探索这一令人兴奋且富有成果的人类理解研究领域的边界。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值