《The Wiley Handbook of Human Computer Interaction》Part V Input / Output 以身体为中心的听觉反馈设计原则 翻译

该文章内容翻译自《The Wiley Handbook of Human Computer Interaction》P371-P403

以身体为中心的听觉反馈设计原则

概要

想象一下你自己走上楼梯，突然间，你听到有人从楼上往楼梯冲向你。虽然没有看到另一个人，只是基于脚步声你就可以猜出一些事情，如楼梯的材料和陌生人鞋底的材料。你可以以某种方式知道这个人是小身体还是大身体，也许还能知道这个人是他还是她，你甚至可以讲述他或她的情绪状态。现在想象你自己的脚步声，并想象它突然改变：它们并不像往常一样发声，听起来好像是由比你小得多的身体产生的，就像爱丽丝从神秘的瓶子里喝了水。您如何看待这会影响您的行走方式或情绪状态？你认为这个事件会如何影响你与周围其他物体和人的感知关系，或者你与他们互动的方式。就像爱丽丝，一旦爱丽丝变小，进入花园的“小”门就不再那么小了。

介绍

对我们大多数人来说，拥有一个身体、移动它、感受它的重量以及它与其他物体的触摸是很平常的事，以至于我们通常不去想它。我们的身体将我们与周围的物质世界紧密相连。上面的示例场景强调了一些与我们的身体和物理（可能是虚拟）世界之间的这种联系相关的现象。首先，我们通过身体与周围环境互动，其次，我们通过身体感官（包括听觉）感知周围的世界（Damasio，1999；Tsakiris&Haggard，2005）。听觉反馈通常伴随着我们与物理和虚拟对象、接口或代理的交互。上面的场景演示了一个人如何通过脚步声感知各种现实方面。它可以是关于地面材料（Giordano等人，2012年）、步行者鞋子材料（Giordano、Egerman和Bresin，2014年）或者关于步行者的运动和身体的信息（ Li，Logan，＆Pastore，1991; Pastore，Flint，Gaston，＆Solomon，2008），包括关于自己身体情绪和身体状态的信息（Tajadura-Jiménez等，2015a）。最后一点尤其重要，因为我们的身体姿势经常表达我们的情绪，无论是有意还是无意（Kleinsmith&Bianchi‐Berthouze，2013年）。此外，自我身体感知对我们的自尊和情绪状态有很大影响（Carney、Cuddy和Yap，2010年），形成 自我认同的基础（Giordano等人，2014；Longo、Schuur、Kammers、Taskiris和Haggard，2008）。最后，该示例场景显示，一个人的身体可以用作“感知尺”来测量周围对象的大小。因此，如果一个人的身体被认为是较小的，比如通过改变声学特性，如周围房间的混响时间，则外部物体将被感知为更大（如爱丽丝梦游仙境; Linkenauger，Witt，＆Proffitt，2011; van der Hoort，Guterstam，＆Ehrsson，2011）。

• 以身体为中心的互动

哲学家（如Gallagher，2005年；Merleau‐Ponty，1962年）、心理学家（如Niedenthal等人，2005年）和神经科学家（如Damasio，1999年；Damasio&Damasio，2006年；Tsakiris，2010年）探讨了我们身体在感知、认知和互动中的核心作用，这经常被称为“具体认知”。这一概念也已应用于人机交互（HCI）和多模式交互系统的设计中。二十多年前，Slater和Usoh（1994）提出了一种“以身体为中心的互动”范式，该范式涉及许多组成部分：

• （a）关于身体状态的推论；
• （b）以身体为中心的反馈；
• （c）神奇而平凡的互动。

斯莱特和他的同事们通过一些富有洞察力和开创性的实验表明，无论是物理的还是虚拟的身体，在身临其境的虚拟环境中感知和互动时都起着主要的作用，它强烈地影响着存在的感觉（即“在那里的感觉，“但最近也看到关于位置和身体幻想的工作，Blanke，Slater，＆Serino，2015）。在这种感知 - 动作循环（也称为感觉 - 运动循环或感觉运动循环）中，我们身体感知到的数据会导致对外部现实的感知和认知，进而指导我们下一个影响周围环境的身体行动。这种感知 - 动作循环方法让人联想到广泛接受的神经科学理论“运动 - 感觉转换的前向内部模型”（Wolpert＆Ghahramani，2000）。这些理论表明，根据在执行动作时接收到的感觉反馈（传入输入）与根据运动系统生成的信号（传出复制）预测的反馈之间的匹配，对运动动作的规划和执行进行调整。在“前向内部模型”的理论中，身体占据着一个中心位置，基于我们进行这些行为的身体的尺寸和结构对我们行为引起的感官反馈（包括声音）进行预测。同样，在斯莱特和乌索看来，现实或虚拟现实中的存在是通过我们的身体成为现实中的一个物体而发生的，物体和媒介的感知受我们在精神上表现身体的方式的影响。

• 指导我们互动的身体心理模型

神经科学研究表明，当我们移动或触摸物体时，我们的大脑使用这些身体表征，或身体的心理模型。身体表征确实是成功和顺利与环境互动的必要条件（Head&Holmes，1911–1912；Maravita&Iriki，2004）。它们不断更新，以响应有关身体的感官输入（例如，Botvinick&Cohen，1998），但在某种程度上可以被视为amodal，因为它们没有特定单一的感官形态。
至少有三种不同类型的心理身体表征。首先，身体的物理外观有一些表示，例如它的形状和大小，通常被称为“身体图像”（de Vignemont等人，2010年）。第二，空间中不同身体部位的结构和位置有代表性，通常称为“身体模式”（Haggard等人，2006年；Holmes&Spence，2004年）。第三，身体周围的空间区域通常被称为“近空间”、“外围空间”或“个人空间”（Lourenco、Longo和Pathman，2011年；Tajadura‐Jim_nez等人，2011年）。
通常情况下，精神体表征与身体的实际外观或配置不完全匹配。大多数人在实际身体和代表身体的感知之间经历了一些差异，有时差异是极端的，如某些临床疾病。这些例子包括神经性厌食症，特征是身体形象的扭曲（Carruthers，2008年）；由于对身体部位在空间中的位置缺乏认识（即本体感觉；Della Volpe等人，2006年）；或身体部位代表大小的扭曲，以及周围的SPAC导致的慢性疼痛。这种扭曲会影响人们与环境以及与他人互动的方式，而且往往会对一个人的情绪状态和自尊产生负面影响（Carruthers，2008年）。

amodal指的是尽管我们看到的只是世界的一部分（投射到视网膜上的图形是二维的），但是却对其有一个完整的感知。比如说我们可能只看到了一张桌子的两条腿，但是可以自动“脑补”这张桌子其他的部分，有点知觉完整性的意思。比如篱笆后面的狗，从外面看被挡出了一部分，但是我们还是知道那是条完整的狗。

• 通过声音互动反馈改变身体和现实的表现

我们在上面描述了我们对环境和身体的感知是如何通过我们的行为产生的感官反馈来塑造的。例如，我们通过触摸时获得的视觉，触觉和听觉线索来感知表面材料的特性，如硬度或粗糙度（Klatzky＆Lederman，2010）。同样地，我们通过连续的多种感觉输入来感知我们的身体：本体感受，前庭，触觉，视觉，听觉等等。那么如果我们的身体动作产生的声音突然改变会发生什么？我们会感知我们的身体，还是相互作用的对象，或者两者兼而有之？证据表明，所有这些都可能发生，因为我们对环境和身体的表示不是固定的，并且可以通过声音交互反馈来改变。
最近的神经科学证据表明，对象和身体表征不断更新以响应听觉线索，类似于他们通过视觉或触觉改变的方式。例如，改变触摸表面时产生的声音的频率分量已经显示出改变触摸表面的感知粗糙度（Guest等人，2002）。类似地，改变将两只手摩擦在一起时产生的声音的光谱和/或振幅改变了皮肤的感知光滑度和干燥度（Jousmäki＆Hari，1998）。
这些感知的可塑性，以及当前交互式多模式技术允许这些声音被改变并反馈给听众的事实，导致了许多人们对世界和他们自己身体的看法的可能性。例如，实时改变人们自己脚步声的听觉声音会改变他们对自己体型的看法（Tajadura-Jiménez，2015a）。这种改变动作声音的可能发生在物理和虚拟环境，对象和代理的使用和设计使之开辟了新的途径：改变互动形式和身体表现力。这种改变甚至可以增强一个人的自我认知，在临床神经科学和娱乐等各个领域都有很多潜在的应用。

• 身体感知，声音和情感

在本章中，我们将经常提到与身体感知和声音相关的过程。事实上，听觉常常引起听众的情绪反应，如我们的开场情景所示，并且许多关于各种声音对情绪状态影响的研究证明了这一点（Bradley＆Lang，1999; Juslin＆Västfjäll，2008; Lenti Boero＆Bottoni ，2008）。我们的感觉系统负责保持身体周围的安全边界，在这方面，听觉系统的最基本功能是通过引发情绪反应来充当警告系统（例如，Juslin和Västfjäll，2008）。因此，通过听觉，我们能够监测周围环境，以便检测其他个体（或物体）的存在并获得有关它们的信息（例如，定位，大小或材料），它们的动作（例如，方向或速度 ），如果需要，还包括可能的安全逃生路线（Hermann＆Ritter，2004）。
通过声音收集的信息可以触发情绪反应，并且发生身体生理状态的变化以使身体准备好行动（例如，Ekman，1980; LeDoux，1998; Levenson，1994）。虽然詹姆斯（1894）等人认为情绪源于对事件的这些生理变化的认知解释，但现在人们认为情绪是以行为，内脏和经验变化为特征的心理状态（Seth，2013）。它们会影响注意力，认知和感知过程（de Gelder＆Vroomen，2000）并影响我们的判断和决策（Peters et al，2006）。
在遇到危险时，情绪要么将我们的身体拉离声源，要么在感觉吸引他们的情况下将我们的身体推向声源。这突出了身体感知在事件情绪反应中的核心作用，因为一个人的身体被视为建立一个与我们周围的物体，个体，事件和情境相关的位置的参考框架，并在情感上与他们作出反应（例如，Damasio，1999; James，1890）。鉴于一个人的身体感知可以调节对声音的情绪反应，同时声音也可以诱发情绪和身体感知的变化，这三个方面之间的相互作用需要在以身体为中心的声音设计中加以考虑。

• 以身体为中心的声音设计：本章概述

尽管本章中讨论的许多观点适用于所有其他感官反馈，但我们关注提供有关以身体为中心的交互的关键信息的声音提示（以及相关的声音设计解决方案）；这是HCI（人机交互）中被忽视的感官提示的一个子集。我们从多个领域（包括虚拟现实（VR）、体育、健康、康复和艺术）选择了最近的研究，从以身体为中心的声音设计的角度，以及这种设计是如何被最近的神经科学和心理学发现所告知的。因此，我们的重点不是技术或声音合成，而是自上而下和自下而上的大脑过程，这些过程可以指导以声音为基础的以身体为中心的交互设计的有效性。
在这一章中，我们将讨论神经科学基础的见解如何有助于设计新的、增强的交互技术。本章列出了将声音用于HCI应用程序的一些有趣的优点，然后重点介绍了如何利用听觉线索在混合现实环境中构建基于声音的身体表示，即声音的自我化身来增强自我感知。讨论了代表声能化身的各种提示，如脚步、心跳或声音，以及代表身体周围的虚拟空间（人的“安全边际”或近空间）。接下来，我们集中在通过声音改变身体表现的例子，以增强积极的情绪，促进运动和运动学习。然后，我们给出了一些例子，在这些例子中，声音被用来改变被触摸物体的特性，从而也改变了运动动力学和情绪状态。最后，我们讨论了基于这些原则的新应用如何应用于康复，特别是帮助克服特定生理或心理条件下的人的生理和心理障碍。
我们故意将本章的主题缩小到“以身体为中心的声音设计”，这是因为它的出现性质和具体认知主题的现实性。还有许多与本章密切相关的主题的深入研究。对于一般的声波互动设计，我们请读者参考弗朗尼诺维奇和瑟拉芬（2013）编辑的同名书。Juslin和V_stfj_ll（2008年）和Sloboda（2010年）的《手册》对音乐和情感主题进行了非常鼓舞人心的处理。音乐主题还与具体的音乐认知密切相关，包括对音乐感知的基于行动的影响，以及通过听音乐或与其他人一起演奏音乐的人际同步和诱导（Delahrche等人，2012；Leman，2007；Maes、Leman、Palmer和Wanderley，2014；Reidsma、Radha和Nijholt，2014；Zatorre，Chen和Penhune，2007年）。关于与虚拟和混合听觉现实和存在相关的技术概述，我们建议Larsson、V_ljam_e、V_stfj_ll、Tajadura‐Jim_nez和Kleiner（2010）及其参考文献。在本章中，我们专注于声音，我们的感知是多感官的，我们邀请感兴趣的读者了解Soto-Faraco和V_ljam_e（2012）在文章中提出的多感官设计原则。

通过声音在混合现实环境中进行自我表达

根据Slater & Usoh(1994)提出的“以身体为中心的交互” 范例表明，虚拟状态的表示，以及以身体为中心的感官反馈(例如，虚拟身体的可见部分)，是虚拟环境(VE)和混合现实应用中的关键组件。在本节中，我们将介绍一些与虚拟声体和声学环境有关的例子。

• 将声音用于HCI（人机交互）应用的优点

声音的使用为HCI应用提供了许多有趣的优点。

• 首先，它不会干扰运动。
• 其次，由于听觉包含360度范围，它可以潜在地通知用户视野之外的事件。还表明可以仅基于感觉运动和听觉线索创建空间表示（Viaud-Delmon和Warusfel，2014）。
• 第三，声音的使用允许并行地呈现若干信息流（例如，触觉和手势）（Hermann＆Ritter，2004）。
• 最后，它可以提供连续的信息流，因为听觉永远不会“关闭”，就像闭上眼睛时视力被阻挡一样（Larsson，2005）。

使用声音的另一个优点是听觉系统操作相对较好，即使在嘈杂的环境，它也能提供高时间分辨率和高灵敏度，用于检测结构化运动（例如，节奏; Hermann和Ritter，2004）。事实上，听觉被描述为一个变化检测器，它对某些快速的变化的声音特性作出反应。它通过快速定位行为来实现可能发出潜在威胁的变化（参见Juslin＆Västfjäll，2008）;这种反应比视觉系统观察到的要快（McDonald，Teder-Salejarvi，＆Hillyard，2000）。因此，在用户中结合触发直观，快速和准确响应的声音可能有利于设计使用声音来传达警报和警告的系统，例如车辆，医院的应急系统或工作环境（最近的评论见Edworthy，2013; Roginska，2013）。最后，从美学的角度来看，声音也是享受和娱乐的源泉（Juslin＆Västfjäll，2008）。

• 声音的自我化身

我们的身体由于自身的内部活动和与环境的相互作用而产生许多不同的声音。例如，想想一次呼吸、打哈欠、咀嚼、行走或拍打表面时发出的声音。这些声音包含了关于身体、身体尺寸、情绪状态、身体部位的位置以及正在执行的动作的进展的丰富信息。人们并不总是关注这些声音，但它们一直伴随着我们，在我们的生活中可以被认为是一个连续的“原声”。人类报告说，当这些声音消失时，例如，当佩戴耳塞时，他们对自己身体的感知会发生变化（Murray、Arnold和Thornton，2000年）。此外，当听到呼吸或心跳的声音时，人们往往无意识地将这些声音与自己的生理状态联系起来，这些声音对听者的认知和情感过程有影响（Phillips、Jones、Rieger和Snell，1999年；Tajadura‐Jim_Nez、V_____E和V___例如，在合成语音中添加自然吸气声音似乎有助于听者回忆句子（Whalen、Hoequist和Sheffert，1995年）。同样，以快或慢的频率听心跳声音可以分别增加或减少情绪激动（例如，Woll&McFall，1979年），以及对参与者自身心跳频率和情绪事件回忆的影响（Tajadura‐Jim_Nez等人，2008年）。此外，饮食被描述为一种情感体验，包括“意识到并倾听每一口食物的嘎吱声和你头上咀嚼的声音”（Albers，2003年）。
如果没有我们的身体在与环境互动时发出的声音，就很难协调一些看似简单的动作，如刷牙、将物体从一个位置移动到另一个位置、打开汽车或插入电器。例如，当用手触摸一个表面时，运动行为会不断地“雕刻”反馈声音，反之亦然。这些声音也提供了关于我们正在与之交互的物体以及关于自己身体的反馈。例如，在地面行走时产生的声音取决于脚踏装置和地面材料，也取决于步行者的体重和行走速度（Visell等人，2009年）。因此，这些声音可以用来增强IVE的自我感觉。虚拟现实研究表明，在IVEs中的存在是通过我们的身体成为虚拟现实中的一个物体而发生的。据报道，通过头戴式显示器向下看或通过看虚拟镜子，从第一人称的角度观察我们的虚拟身体，可以增加在IVEs的存在（Slater&Usoh，1994；Dodds，Mohler，&B_lthoff，2011）。同样地，你可以想到拥有一个声音化身，这是一个不是视觉的化身，但它是由身体声音和互动声音构成的，在这些IVEs中代表了你的身体。与视觉化身一样，我们现在知道，在IVEs中添加代表我们身体移动的声音可以增加IVEs中的导航和交互（Nordahl，2006年）。在一些仅限音频的游戏中可以找到有关Sonic Self-Avatars的有趣例子（请参见www.blindsidegame.com）。
在这种“以身体为中心的相互作用”范例之后，增加了代表一个人的自我运动的声音，例如添加到移动的听觉场景中的类似引擎的声音，已被证明可以显着增加IVEs中运动的感觉。 Väljamäe及其同事（Väljamäe，Larsson，Västfjäll＆Kleiner，2008a）在这项研究中发现，与移动虚拟场景中的其他声音不同，引擎声音被用作固定锚，保持在第一人称“听觉点”（见图18.1）。这项研究还评估了心理运动想象，它指的是用户想象动态过程的能力，包括自我运动（Hall，Pongrac，＆Buckholz，1985）。通常将运动图像分离为视觉运动图像（可视化运动的身体）和运动运动图像（想象实际身体运动产生的感觉）。发动机声音促进效果与参与者的动觉图像显着相关，但与视觉或听觉图像无关，因此暗示了第一人称视角在自我运动表现声音感知中的关系。关于影响自我运动感觉的其他听觉线索的回顾，参见Väljamäe（2009）。

图18.1 在虚拟沉浸式环境中具有声音自身化身（左图）;具有引擎，锚定声音（右图）的听觉场景的示意图。 AIV =听觉引起的感染。

此外，在考虑声音自我化身的构成时，考虑一个人的声音也很重要，因为人们的声音的声学线索在个体之间变化很大，因此对于表达自己的自我非常重要，例如，在游戏应用程序中（Wadley，Carter，＆Gibbs，2014）。有声音提示通常是扬声器的年龄，性别和大小的良好指标（关于语音信号中的显着线索的评论，见Smith＆Patterson，2005）。当构成特定的自我化身时年龄，性别或体型，人们可以考虑在他们说话时操纵人们声音的声音变形技术，并从第一人称视角呈现所产生的声音（Deutschmann，Steinvall，＆Lagerström，2011）。请注意，当人们听到自己的声音时，他们获得的声能大约有50％是通过耳朵的空气传导而另外50％的声能是通过骨传导传递的（Pörschmann，2000;Väljamäeetal，2008b）。因此，在这种情况下语音的有效呈现可以组合通过耳机（空气传导）和通过骨传导耳机的语音呈现。
最后，在上面提到的关于心跳声的研究中，观察到当通过使用耳机而不是远程扬声器或通过使用振动将声音从近距离呈现给听者时，心跳声对人的情绪状态的影响被提高。 “捕捉”听众的声音（Caclin，Soto-Faraco，Kingstone，＆Spence，2002; Tajadura-Jiménez等，2008）这一发现可能表明身体声音的这个第一人称视角对于声音自我化身的构成（即，声音代表环境中的身体）的重要性，与显示看到自我化身的重要性的调查结果相似从第一人称的角度来看。这些发现还强调了在近空间（或周围空间）和远离听者的虚拟或实际身体的空间中呈现声音之间的不同效果。我们将在下一小节中扩展对这些差异的研究。

• 交互式虚拟环境（IVEs）中的人际空间和声学

我们已经提到，精神体表征的一种类型是紧邻身体周围的空间区域的表示，通常称为“近空间”，“周围空间”（也称为PPS）或“个人空间”(Lourenco et al., 2011; Tajadura‐Jiménez, Pantelidou, Rebacz, Västfjäll, & Tsakiris, 2011)。神经科学和心理学研究表明，与远空间相比，我们的大脑专门处理和整合近空间的感觉信息。(e.g., Brozzoli, Gentile, Petkova, & Ehrsson, 2011; Rizzolatti, Scandolara, Matelli, & Gentilucci, 1981)。还应注意，对于所谓的远场（>1–1.5 m）和近场，我们的听觉处理的空间分辨率和灵敏度是不同的，这也反映在在虚拟空间中呈现声学事件的不同技术解决方案中（例如，Zotkin、Duraiswami和Davis，2004；另见Larsson等人，2010，F.或更多细节和参考）。
例如，对于外部声音事件和PPS，Neuhoff、Planisek和Seifritz（2009年）证明，接近人体的声源的终端距离被低估，Tajadura‐Jim_nez等人（2009年）。声音和触觉的结合有助于身体附近（而不是远处）的声音事件。对于这一专业化以及保持身体周围空间的代表性的重要性，已经提供了几种解释，包括为了成功地与身体附近的物体进行互动，必须跟踪这些物体（Chieffi、Fogassi、Gallese和Gentilucci，1992；Moseley、Gallace，&斯宾塞，2012年），也为了保持身体周围的安全边际（Graziano&Cooke，2006年；Niedenthal，2007年）。PPS和情绪之间也有紧密的联系。事实上，在社会心理学领域，“个人空间”一词通常比PPS更受欢迎，它被用来定义人们所体验的人体周围的情感敏感区域为“他们的空间”（Sommer，1959年），其他人在不引起不适的情况下无法进入该区域（Hayduk，1983年）。对听觉诱发情绪的研究发现，声源相对于听者的pps的空间定位可能会调节对声音的情绪反应。特别是，与远源、静态源、后退源或前空间源相比，对于即将接近的不愉快声源（Ferri、Tajadura‐Jim_nez、V_ljam_e、Vastano和Costantini，2015年；Taffou和Viaud‐Delmon，2014年；Tajadura‐Jim_nez、V_ljam_e、Asutay和V_stfj_ll，2010年b）或接近听者身体（Tajadura‐Jim_nez等人al.，2008），或者被认为是听众背后的人（Tajadura‐Jim_nez、Larsson、V_ljam_e、V_stfj_ll和Kleiner，2010a；Asutay&V_stfj_ll，2015），观察到的情绪反应更强烈。此外，身体周围空间的声学感知尺寸可以影响对声音事件的情绪反应（例如，在有狮子的小虚拟房间中），因为他们设置了事件发生的背景，影响了我们对它们的解释（TajaduraJiménez等，2010a）。
提出的证据可以概括为设计原则，包括

• （a）近空间中的声音优先于远处空间的声音处理；
• （b）有更大的机会构成声音自我化身；
• （c）可以在听众中引起更强烈的情绪反应。

通过声音改变身体表现以增强身体能力

在前面的章节中，我们已经介绍了神经科学研究的发现，我们的大脑使用包括声音在内的可用感官输入来跟踪我们身体不断变化的外观（“身体图像”）、我们不同身体部位在空间中的配置和位置（“身体模式”）、我们身体周围的空间（“外围空间”），以及跟踪和调整运动动作的空间。我们还介绍了运动到感觉转变的“正向内部模型”理论（Wolpert和Gharamani，2000年），这表明我们通过考虑大脑发出的运动指令（例如，作用力、运动方向）和身体尺寸和结构的心理模型，预测我们应该从身体互动中获得的听觉反馈（例如，用手敲击表面时产生的声音）。当收到的声音反馈与这些预测不匹配时，可能会发生内部身体模型的更新，这也将导致我们执行的后续行动的调整。 在本节中，我们将简要回顾神经科学研究中关于声音与身体动作相关的影响在后续行动的规划和调整中以及身体图像和身体模式中的发现。然后，我们将关注这些研究结果为不同背景下的技术设计所带来的机遇和挑战，包括体育，健康和康复。 最近的HCI研究以神经科学研究结果为基础，开始利用与身体动作相关的声音来增强感知的身体及其能力。

• 与动作相关的声音用于计划和指导自己的动作

神经科学研究表明，动作相关声音的感知与用于真实或想象动作的大脑运动命令之间存在紧密联系。例如，在执行某些操作时产生的听觉声音，如将纸张撕成碎片，会激活在准备执行相同操作时本来会使用的相同脑区域（Aglioti＆Pazzaglia，2010;参见关于镜像神经元的相关工作，参与动作执行和动作观察，例如，Rizzolatti＆Craighero，2004或Keysers，2010;另见本手册第28章中提到的关于运动传染的相关工作）。类似地，听取与自己的动作相关的声音可能会对后续动作的执行产生影响。 例如，延迟步行产生的声音可以调整一个人的步态（Menzer et al。，2010），并且与敲击表面时所施加的强度相关的声音提示的实时改变导致随后执行的敲击运动的调整（Tajadura-Jiménez等，2015b）。后一项研究还表明，情绪体验受到敲击声和敲击动作之间的一致性的影响。当听到与根据所施加的敲击强度预测的声音不匹配的弱敲击声时，与敲击动作和声音保持一致的情况相比，人们感觉不那么愉快，更加激动并且敲得更重。有趣的是，在人们听到强烈敲击声的情况下，与轻敲声音条件相比，与敲击动作的不匹配不那么明显和不愉快; 在强烈的条件下，参与者感到能够轻拍并欣赏他们行动的声音反馈，而且他们没有像在弱敲击条件下那样调整他们的敲击行为。这些研究结果表明，人们使用与身体相关的声音来指导他们自己的行为，这为利用这些过程促进声音和引导运动的技术提供了可能性（Tajadura-Jiménez等，2015b）。此外，大脑中听觉和运动区域之间的紧密联系延伸到其他类型的声音，例如节奏声音，通常用于产生运动（Kenyon＆Thaut，2005; Schneider，Münte，Rodriguez-Fornells，Sailer，＆Altenmüller，2010; 通过播放或听音乐来看看人际同步和夹带的工作，在引言中提到：Delaherche等，2012; Reidsma等，2014）。

• 通过声音改变心理身体模型

最近的一些研究表明，实时改变一个人的身体所产生的动作声音会对感知的身体大小产生影响。例如，改变当自己的手敲击表面时产生的声音的空间位置，使得听到的声音起源于实际敲击的距离的两倍处，可以导致一个人的手臂感觉比以前更长 （Tajadura-Jiménez等，2012; Tajadura-Jiménez，Tsakiris，Marquardt，＆Bianchi-Berthouze，2015c），以及一个人的手臂好像更长的执行行动（Tajadura-Jiménez，Marquardt，Swapp，Kitagawa，＆Bianchi-Berthouze，2016）。重要的是，为了观察由这些效应触发的身体图像和身体模式的重新校准，空间操纵需要保持在某些空间和时间限制内。声音位置应该允许被感知为来自一个人的身体，并且呈现的声音需要与一个人的行为同步。我们的工作表明，将敲击声呈现在实际敲击的距离的四倍，或者在300毫秒的时间内不同步时，对一个人的行为没有影响（Tajadura-Jiménez等，2012; Tajadura- Jiménez等人，2015c;另见Lewkowicz，1996,1999，研究多感觉积分窗口，在此期间不同模态的异步刺激被视为同时发生。另一项研究表明，改变人体行走时产生的声音的频谱，使得产生的声音与较轻的身体产生的声音一致，可以改变人体尺寸和体重的感知，使身体感觉更瘦更轻盈（Tajadura-Jiménez，2015a;另见Tonetto，Klanovicz，＆Spence，2014）。这项研究还表明，让人感觉更瘦的行走声音与更积极的行走行为和更积极的情绪状态的变化有关。这些研究结果表明，与动作相关的声音可以对人体图像和身体图形产生影响，这再次开启了利用这些过程使人们更加了解自己的身体或让他们感受到不同身体的技术的可能性。

• 用于感官替代或感知增强身体感知的声音

利用这些发现可以使用声音进行以身体为中心的设计，首先，作为关于实际身体尺寸，位置和运动的信息来源 - 在这种情况下声音的使用可以被视为一种感官替代。一些研究证实了使用声音来提供通常通过触摸传递的信息。例如，在Boyer等人的研究中。 （2015），当“触摸”空中的虚拟表面时听到声音。当探索表面时，可以通过听觉反馈估计表面的实际曲率。虽然平均精度仍然低于使用触摸的公布结果，但该研究表明，听觉反馈可以有效地为参与者提供虚拟对象的微妙空间信息。其次，声音还可以用于提供关于身体尺寸，位置和运动的改变的信息 - 在这种情况下声音的使用可以被视为一种感觉改变或感觉增强。由于更多地意识到一个人的身体或不同身体的感觉可能会影响情绪状态和后续行动的计划，越来越多的工作支持在两种情境中使用声音来增加积极的身体意识并促进运动的执行和参与。例如，Boyer表明，超声处理可以提高视觉 - 手动跟踪任务的准确性（Boyer，2015）。正如我们在引言中已经提到的那样，声音和情绪状态之间也存在紧密联系，可以在这些应用中加以利用（见上文，Bradley＆Lang，1999; Juslin＆Västfjäll，2008; Lenti Boero＆Bottoni， 2008;Tajadura-Jiménez等，2008,2010a，2010b），以及听觉诱发情绪对运动行为的影响（Leman等，2013）。因此，利用这些发现的以身体为中心的声音设计可以在VR，艺术和娱乐环境中应用，不仅使人们感觉身体不同并增强与身体相关的情绪状态，而且应用于健康和康复环境中以增加对自己身体的积极性并促进行动。使用声音作为关于实际身体尺寸，位置和运动的信息来源已被证明在运动，舞蹈，运动学习和康复环境中具有积极效果，例如增强身体意识和运动协调，增加动力 减少与身体表现有关的焦虑，增强与身体相关的情绪状（Großhauser，2012; Rosati，Rodà，Avanzini，＆Masiero，2013; Schaffe，Mattes，＆Effenberg，2010; Singh等，2014;和 Vogt，Pirro，＆Kobenz，2009）。例如，声音反馈可以通过提供诸如距目标姿势的距离等信息来指导运动，从而促进运动学习（Sigrist，Rauter，Riener，＆Wolf，2013），并且还可以提高自我效能（Singh et al。，2014））。最近有关运动超声处理的感觉运动学习的综述参见Bevilacqua等人的文章。（2016）。 在使用声音作为物理信息来源或解决心理障碍的身体康复领域已经做了大量工作。而使用声音作为感知改变自己身体感知的来源的工作做得做得并不多。最近才在人机交互的背景下探讨了用声音改变自己的身体感知，增强身体表现，自尊和积极关注自己身体的可能性。研究中的这种情况实时改变了行走声音，使人们感觉更瘦更轻，这表明身体感知的这些变化使人们行走“更轻”并诱发更积极的情绪状态（Tajadura-Jiménez等人。 ，2015a）。未来的研究可能会考虑应用类似的以身体为中心的声音设计原则。
最后，值得注意的是，在音乐和舞蹈等表演艺术中已经尝试使用交互式声音反馈作为关于自己身体的信息来源（Bevilacqua，Schnell，Fdili Alaoui，Klein，＆Noeth，2011）。舞蹈的情况特别有趣，因为舞者特别受过训练以感知自己的身体和空间。 例如，Viaud-Delmon等。 （2011）报道了一项研究，其中舞者试验了一个互动系统，该系统中声音和音乐响应她的位置和动作。这项研究评估了这种系统是否可以改变舞者与运动相关的感知并扩展他们的身体空间。 这项研究中的舞者报告称，该系统有助于提高她的身体意识，并引起她对舞台感知的改变。在另一项研究中，Francoise，Fdili Alaoui，Schiphorst和Bevilacqua（2014）报告了定性结果，其中舞者使用交互式系统，该系统经过调整以提供对特定运动质量的连续听觉反馈。在这种情况下，声音基于先前录制的舞者发声。 他们报告说，该系统倾向于诱导不同运动的探索并改变他们的行为。特别是，舞者认为这样的系统可以为运动学习创造一个反射空间。 这些研究清楚地表明，在这个有前途的领域需要更多的研究，以更好地确定声音交互系统如何增强身体和运动的感知。

通过声音改变与物体和多媒体接口的相互作用，以增强运动动力学和情绪状态

如前所述，由于听觉的全方位性以及听觉系统的主要功能是作为警告系统，声音对于告知我们周围环境至关重要。已经提出了几种类型的聆听（Caramiaux，Altavilla，Pobiner，＆Tanaka，2015），例如音乐聆听，侧重于诸如音高，音色和节奏等元素，或者关注事件的日常聆听，如Gaver所提出的（1993年）。在通过特定动作产生声音的情况下，已经表明听众倾向于通过动作本身描述声音（Lemaître＆Heller，2013）。 此外，我们还通过声音感知物体的大小和材料（Giordano＆McAdams，2006; Grassi，Pastore，＆Lemaître，2013; Klatzky，Pai，＆Krotkov，2000）。

• 在与对象交互期间的材料感知 - 动作循环

物体通过身体相互作用产生的声音的情况表示通过声音的身体感知的特定情况。由于我们与物体的相互作用通常会产生声音，因此当我们触摸物体以获取有关物质的信息时，我们会不断使用听觉反馈来调整我们的动作。有趣的是，就我们的身体感知而言，我们很少意识到这些听觉反馈机制对于我们通过对象的交互有多重要。例如，Cabe和Pittenger（2000）表明，用户只需使用听觉反馈即可成功地用水填充船只。 在这种情况下，通过动作感知循环（反之亦然，感知动作循环）连续地控制运动，其中预期和适应发挥作用。通过我们的经验（Lemaître，Heller，Navolio和Zúñiga-Peñaranda，2015）了解我们对物体的行为与产生的声音之间的关联，并且可以学习新的关联。还已经表明声音可以激活运动的表示。 一些作者研究了可能与声音或“声音手势”相关的运动。例如，Caramiaux，Schnell，Françoise和Bevilacqua（2014）研究了不同的运动策略，当用户在听到声音时被要求用手势描述声音时可能会使用这些策略。 特别是他们表明识别引起声音的动作有利于模仿动作。
触摸物体时产生的声音也可用于计划和执行后续动作。例如，Castiello及其同事表明，通过听觉，在移动开始时，可以通过听到抓住物体时产生的声音（与听到抓住不同材料的物体时产生的声音相反; Castiello，Giordano，Begliomini，Anuini，＆Grassi，2010）来调节到达物体的速度（到达物体）. 一些研究还表明，通过声音反馈感知的地板材料可以影响步行风格（Bresin，de Witt，Papetti，Civolani，＆Fontana，2010; Tajadura-Jiménez等，2015a; Turchet＆Bresin，2015）。

• 改变对象属性的声音反馈以改变运动动态

与Gibson（1986）最初在视觉感知的生态学方法中提出的可供性概念类似，一些作者将可供性概念扩展到声音与行为之间的相互作用（Gaver，1991;Godøy，2009; Altavilla，Caramiaux，＆Tanaka） ，2013）。这些可供性概念已经被用作构建各种交互式对象的设计原则（Caramiaux等，2015; Houix，Misdariis，Susini，Bevilacqua，＆Gutierrez，2014），其中动作和声音是耦合的。重要的是，多模式交互系统的使用允许设计动作和声音反馈之间的关系。事实上，我们可以轻松地，以可量化的方式改变音频反馈以响应对象操作，这为研究我们对交互的感知提供了机会（见图18.2）。
例如，Tajadura-Jiménez及其同事描述了一种交互式系统，它允许改变表面触摸和通过动作产生的声音之间的感知 - 动作循环（Tajadura-Jiménez，Liu，Berthouze，＆Bevilacqua，2014）。在这项研究中，触摸的原始声音通过数字声音处理进行了修改，从而产生了不同表面纹理的错觉，例如颗粒状或光滑的表面。我们通过改变声音反馈表明，可以修改触摸手指运动动态和材料感知。该结果符合这样的假设：这种交互系统可以在感知和运动水平上修改感知 - 动作循环。在这种材料感知 - 动作循环中情绪也是错综复杂的。 改变关于运动性能或相互作用对象的听觉信息可能会影响我们对运动能力或与特定特征对象的相互作用的感受。使用交互式系统，Tajadura-Jiménez及其同事研究了声音反馈对物理对象（例如桌子）或虚拟表面（即空中拍摄）的影响; Tajadura-Jiménez等，2015b）。与前一种情况类似，我们表明，改变与敲击强度水平相关的音频反馈会改变敲击行为和表面的感知硬度。重要的是，通过使用诸如皮肤电活动（EDA）和情绪问卷等措施获得的结果表明情绪状态也受到影响并且应该被考虑在内。总结不同的研究表明，触摸和声音之间的这种感知 - 动作循环的建模是相当复杂的。我们对触摸物体的体验以及触摸物体时对物质的感知的期望都会影响我们触摸它的方式（Bianchi-Berthouze和Tajadura-Jiménez，2014）。

图18.2 身体与物体相互作用（例如，在地面上行走）产生声音。 声音根据物体材料（例如，地面材料）和相互作用（行走）行为（在这种情况下是步态模式）而变化，其连续地“雕刻”反馈声音。声音反馈用于调整电机行为，从而关闭右上角子面板中显示的动作感知循环。显示的系统用于实时改变步行产生的声音反馈，并测量估计的身体尺寸，步态模式（用加速度计和力敏电阻-FSR测量）和唤醒中的效果（通过皮肤电活动传感器-EDA测量）。

从身体康复工作中初步学习

在本节中，我们将讨论前面章节中讨论的以身体为中心的声音机制所提供的机会的应用。 从前面的部分开始，我们已经获得了各种应用领域的风格，我们将重点放在应用的特定背景上，即身体康复。我们的选择是基于这样一个事实：身体康复需要解决上述许多问题，即增强和重新映射身体感知和身体能力以及相关的情感需求。我们将回顾在物理康复领域所做的一些具体工作，讨论使用以身体为中心的声音设计和无处不在的技术所带来的机遇、复杂性和挑战，以及这些技术在许多其他领域的应用所面临的新问题和可能性。

• 用声音处理物理信息

运动声化（即运动的实时听觉反馈）正越来越多地应用于身体康复。例如，在术后恢复运动、重新获得因中风（Wallis等人，2007年）而丧失的运动能力（Vogt等人，2009年）或在疼痛和害怕受伤的情况下促进运动（Singh等人，2015年）等方面出现了应用。声音在这里被用来增强通常不可见或听不到的本体感受（动觉）反馈。在物理康复中使用声音作为反馈形式的一个主要原因是它被证明有助于感觉运动学习（见上文）。此外，声音可以通过便携式扬声器和/或耳机播放，由于不需要固定显示器，因此它适用于任何类型的运动和运动，与身体配置无关。如今，这一点更为重要，因为体育康复正从简单的体育锻炼转向功能性活动。因此，与视觉反馈相比，通过可穿戴移动设备提供的听觉反馈成为一个合适的机会（Singh et al.，2015）。尽管有这些有趣的特性，关于运动声化或广泛临床试验的扩展实验仍然很少。

听觉反馈指导运动 ----在身体康复过程中最初使用超声波的目的是告知患者或临床医生运动偏离了设定的轨迹。Maulucci和Eckhouse（2000年）成功地证明，使用增强听觉反馈有利于康复任务（与没有听觉反馈的组相比）。在他们的工作中，当被跟踪肢体的运动轨迹保持在规定的范围内时，没有听到任何声音，而声音频率的变化表明运动偏离理想轨迹的程度。在这种情况下，听觉反馈可以被视为一种渐进式的警报，其声音特征告知了问题的重要性和处理问题的必要性（这种类型的反馈通常被形式化为结果KR的知识）。
由于声音反馈对运动学习有积极的影响，它越来越多地被用于指导运动和增强运动感知。声音的改变被用来保持运动在一个期望的运动轨迹和运动轮廓内。例如，速度的增加可以通过音量的增加来表示，而偏离设定方向可能导致声音失真或音高改变。 Boyer、Pyanet、Hanneton和Bevilacqua（2014年）利用这种声波研究显示，用户可以跟踪手臂运动的特定速度曲线。有趣的是，大多数用户能够适应随时间变化的速度剖面，而不需要意识到这种变化。这种运动超声波的使用可以告知和帮助一个遵循运动路径和动力学的人，同时阻止该人使用补偿运动，从而导致更有效的治疗。
在上述情况下，除引导运动轨迹及其运动学外，声化还用于增强对目标达成的感知。这可以通过声音的特定变化或声音的结束来表示。实现目标的音响化被认为是非常重要的，因为它通过有一个明确而有益的终点（目标）来提供应对挑战性活动的动力。奖励设定的目标已被证明会导致绩效的提高（例如，Newbord、Bianchi‐Berthouze、Gold、Tajadura‐Jim Mez和Williams，2016；Singh et al.，2015；Wallis et al.，2007），甚至在绩效没有改变的情况下，也会提高成就感和自我效能感（Singh et al.，2014）。
通过考虑人的身体能力来设定和调整运动路径的校准，可接受的偏差范围和目标。 与基于视觉的反馈系统（Lam，Varona-Marin，Li，Fergenbaum，＆Kulić，2016）的情况一样，这些参数的设置通常由临床人员执行。 然而，随着身体康复进入自我管理，研究人员正在研究方法，以促进自动校准，允许患者探索他们的物理能力。本节末尾将讨论一个这样的示例。

运动-声音映射的参数选择----一个仍然开放的问题是应该用于映射运动的声音类型（Dubus＆Bresin，2013）。实际上，有几种可能的方法来设计运动声音映射。为了迅速使用，即使声音很简单，它所携带的信息也需要是直观的（即，容易学习）。研究人员研究了声音特性与运动特性的关系。根据Bresin和Friberg（2013）对相关工作的回顾，一般来说，垂直运动更容易与节距增加相关，Scholz等人（2014）研究了与老年人的垂直和水平运动相关的音调和音调亮度的感知。他们发现，无论是水平还是垂直运动，都可以很容易地了解音调变化的映射，而亮度更容易映射到水平运动。这些结果表明，仔细选择超声成像和声学参数对成像具有重要意义，以便在要求高且经常引发焦虑的任务（如理疗中执行的任务）中更直观。
总之，不同的方法既有对运动与“理想”轨迹之间的误差进行声波处理，也有对运动本身进行声波处理；这两种方法在效果上的差异尚不清楚，需要广泛探讨。在后一种方法中，听觉反馈可被视为增强身体意识，这可以导致更快的感觉 - 运动学习。关于不同的相关机制仍然存在重要问题：学习机制是通过声音增强本体感受有效还是通过改变产生运动校正的预期声音有效？在所有情况下，动作感知循环的情绪反应（超出动机和参与度）经常被忽略，但正如下一节所讨论的，即使使用简单的声音，也要考虑到这一点。
最后，超声处理可以支持听觉 - 运动整合，因此当本体感觉系统功能失调时，它不仅提供一种感觉补充，而且如Scholz等人所建议的那样（2014），它还提供了一种建立将声音转化为运动的大脑网络的方法（例如，Altenmüller，Marco-Pallares，Münte，＆Schneider，2009）。 相反，类似警报的方法在运作期间可能被认为更有用，因为太多的信息将是压倒性的或社会上不可接受的（Singh，Bianchi-Berthouze，＆Williams，2017）。

• 利用声音解决情感障碍

虽然上述超声处理框架旨在补偿有限的本体感受反馈，提供有关运动质量的信息，或促进正确的运动和更具吸引力的活动，但情绪因素也是身体康复的关键障碍。 低参与度，低自我效能，低自尊，疼痛和对受伤的恐惧是影响身体康复功效的一些因素，并且往往导致低依从性。 不幸的是，在身体康复技术的设计中经常忽略情绪方面。

使用音乐和自然主义的声音作为隐喻 ----针对动机的一种特殊方法探索了使用音乐而不是简单的超声波。黄et al.（2005）创造了一个既有视觉反馈又有听觉反馈的虚拟环境，并对患者进行了评估。他们使用了可能有利于用户参与的一般音乐概念（Chen et al.，2006）。此外，音乐中风项目（Kirk，2015；另见https://strokeproject.wordpress.com），具有强大的以用户为中心的设计，专注于改变与对象交互期间收到的声音反馈，以此来转换乐器中的日常对象。通过这种方式，他们可以让中风患者进行身体康复，并增强他们进行推荐练习的动力。这项工作与我们讨论通过声音改变与物体的相互作用的可能性联系在一起，这是一种增强运动动力学的方法，如本文所示，在物理康复的背景下具有适用性。为了使发音更直观、更吸引人，一些研究人员还探索了隐喻的用法（例如，Rasamimanana等人，2011年；Robby‐Brami等人，2014年；Bevilacqua&Schnell，2016年）。例如Vogt et al（2009年），在肩部理疗过程中，利用自然声音来强化运动。当手臂向上移动时，声音从林地的声音，到动物的声音，再到风穿过树林的声音。其目的是提供一个更清晰（即使是大体）的手臂位置的理解，同时，提供一个更美的愉快和放松的体验。
Singh等人（2015）也研究了自然声音的使用，其中运动的阶段被映射到自然环境（如森林）中的路径，声音的变化反映了新地标的到达（如河流、一群绵羊）。一种声音的跳跃表明已经避免了一种运动的阶段（例如，在坐立运动中躯干向前弯曲）。目的是再次增强运动感，提供运动质量的广泛信息，并放松。 辛格等人（2015）也表明自然主义的声音是放松的，可能更愉快; 然而，当在声音和焦虑触发运动期间使用声波化来理解一个人的身体运动能力时，声音和运动方面之间的映射需要简单，即易于理解。 他们的参与者表现出对简单的音阶序列的偏好（如下一小节所解释的），而不是自然主义的声音或复杂的音乐，因为他们可以更好地解释他们的运动的进展和在简单的音阶序列中达到里程碑。

超声化用来增强能力（感知自我效能）和信心的感觉 ----以上讨论的机制表明，听觉反馈可以改变人对身体能力的感知，并可能产生情绪调节效应和行为改变。辛格等人（2014年，2015年）探讨了这种可能性。他们研究了如何设计运动超声反馈以解决身体活动的各种心理障碍，而不仅仅是物理活动和动机。 在慢性疼痛的身体康复背景下，他们提出并评估了一种名为Go-with-the-Flow的超声框架，以解决感知的自我效能感，信心的摇摆以及对疼痛的恐惧。
患有慢性疼痛的人经常对被认为具有威胁性的运动产生恐惧或焦虑（例如伸展; Turk＆Rudy，1987）。 在Go-with-the-Flow框架中，参数的设置不是将声波化参数校准到人的物理能力和预期的运动轮廓，而是反映了人在进行一种运动时的心理能力。 Go-with-the-Flow框架建议使用离散音阶来在执行焦虑诱导运动期间超声化运动进程。
由于对一个人的能力的恐惧和缺乏信心可能阻止人们参与运动，因此Go-with-the-Flow框架建议根据其心理需求对一个运动的每个阶段进行超声处理。 不是使用运动的生物力学阶段，而是要求患者探索运动并将运动分成阶段。 例如，物理治疗师和患有慢性疼痛的人识别伸展向前运动的三个阶段：第一阶段对应于拉伸的初始部分到人向前伸展时不再感觉舒适的点。 第二阶段更具挑战性，因为即使拉伸在人设定的目标范围内，焦虑也会开始。 第三阶段是超出目标的阶段，即，人感觉伸展超出他/她的能力或状态。
在他们的工作中，辛格等人（2014年、2015年）表明，当使用一个增大的音调标度来探测第一阶段时，人们报告说有爬山的感觉，当他们达到更高的音调时，他们感到有成就感，并且他们想要前进（见图18.3）。增加音阶被用来提供一种增加的挑战感，知道这个阶段的运动被认为是可行的，尽管疼痛。第二阶段的音律运用了第一阶段音律所产生的情感变化和增强的应对能力，并使用降调量表来提供到达感和结论感。

图18.3 （a）和（b）连接到人员背部的智能手机用于跟踪行李箱的运动并提供实时反馈。 （c）用于促进向前伸展运动的超声处理。 资料来源：Singh等（2014年，2015年）。

最后，为了进一步降低自我效能，自我校准的目的是根据设定的拉伸量设定要提供的奖励量。校准后（即设置该人感觉能够进行的最大拉伸量），根据该人感觉能够进行的程度自动设置两个连续音调之间的播放步骤。例如，与伸展时间更长的人相比，仅能伸展躯干几度的人会得到更多的奖励（例如，当他们向前弯曲时，在躯干的每一个移动角度）。这样，尽管功能不同，但它们的向前伸展运动将映射到相同数量的渐进音调上。更快的奖励旨在加强非常受限的运动，产生“值得做和有能力”的感觉（如参与者报告）。对于限制较少的运动，较慢的奖励旨在提供更清晰的进步感。反过来，随着身体走得更远，这会带来一种控制感，而且更具挑战性。
对照研究表明，这种结构化和自我校准的超声治疗在提高自我效能、提高意识，甚至提高身体性能方面的好处。参与者还报告说，基于音调的离散音阶的简单音序虽然简单，但令人愉快，最重要的是，在一个心理要求很高的动作中，音阶丰富且易于绘制。

感官替代：利用声化结构覆盖本体感受反馈---- 与理疗师和慢性疼痛患者的讨论提出了如何探测运动目标的问题。出现了两个重要的问题：如何避免过度工作（在设定的目标上停止），同时如何在有实际能力的情况下鼓励进步。Newbord et_al（2016）在“随时随地”框架的基础上，利用声音的体现，提出使用音乐信息的音化来提供不同程度的音化短语的结束。利用节奏的概念，他们研究了一个稳定的节奏是否会导致身体在接近目标时自然减速，而一个不稳定的节奏会导致身体想要继续移动通过目标（见图18.4）。他们测试了不同程度的稳定性，并且他们表明稳定的节奏让人们在超声处理结束后很快停止，而不稳定的节奏，参与者在声音停止时继续向前伸展更长时间。 此外，节奏不稳定会使速度曲线的变化更加突然。 自我报告调查表还显示，与稳定的节奏相比，不稳定的节奏提供了一种想要继续移动的感觉。
虽然基于音乐的超声化和简单的超声化被证明是有效的，并在身体康复过程中起到不同的支持作用，但在克服情绪方面出现了一个重要的概念。有人可能会争辩说，为了使反馈有效，所使用的超声处理方法需要增强代理感，以便以自下而上的方式处理信息并将其视为直接反馈。当超声处理本身不仅仅是为了通知而是为了调节关键的情绪状态时，这一点尤其重要。因此这可能会引发未来的研究问题，例如：大脑对身体直接创造的感觉是什么？或者，一个人需要什么类型的暴露才能被认为是身体活动的直接产物？

图18.4（a）显示了基于智能手机的系统跟踪的向前伸展运动（躯干弯曲角度）。 （b）为一个参与者记录的输出示例：稳定（蓝色/黑色）和不稳定（红色/灰色）条件下朝向和超过节奏点的运动。 这个例子说明了超过节奏点的拉伸量的差异。 （c）使用的声波刺激的概述，全部以稳定或不稳定的节奏点结束，并且三个长度L1，L2和L3（通过从节奏点之前移除一个或两个和弦而得到，如图所示，然后是 稳定或不稳定的节奏）。 资料来源：改编自Newbold等人的图（2016）© 2016 ACM，Inc。取自https://doi.org/10.1145/2858036.2858302。 经许可转载。

结论和未来方向

在本章中，我们总结了神经科学和心理学研究中确定的一些机制。这些机制可以作为更好地了解用户交互技术体验的基础。此外，它们还可以作为原则，通过采用以身体为中心的方法为这些应用程序设计更有效的声音反馈。下面我们总结一些原则和其他信息。

• 对未来应用很重要的主题总结

声音代表自我 ：如上所示，声音构成了我们的声音特性身体，并有助于创造新的体验和塑造我们身体的心理表征。然而在创造一个自我声音的化身时应该考虑一定量的影响因素。这包括前后关系（例如，驾驶模拟中的发动机声音）、反馈延迟（例如，身体伸展实验中的敲击动作和敲击声音之间的延迟）、空间位置（例如，心跳声源的位置）以及与其他感官信息的一致性（例如，伴随发动机声音的振动）。

感觉提高和增强 ：正如我们所展示的，声音经常被用来探测无形的事物，比如，“听清”身体运动动力学及成功地在康复和体育中“大展身手”，放大心跳的感觉，在假肢应用中恢复失去的触觉，或者使某人脚步吸引人注意，有助于改变一个人的身体形象和浅层印象。只有在尊重时间、空间、强度和环境条件的情况下（见下一点），这种基于听觉的现实增强才能在提供感官增强方面起作用。认知负荷和注意力需求也应被视为这种感觉增强的限制因素（例如，Vazquez‐Alvarez & Brewster, 2011）。

慎重对待动作感知回路中的阈值 ：这不足以探测用户的动作和行为，但重要的是这样做用户可以直观地将提供的声音反馈纳入现有的动作感知循环。例如，为了使声音反馈被认为是由身体（即，力量的感觉）产生的，因此有可能在运动或身体表现中产生无意识的调整，某些偏离预测声音反馈的阈值不应被侵入。阈值适用于所有时间、空间和强度偏差。具体地说，如果声音反馈相对于动作产生的瞬间是大不同步的，或者如果声音反馈距离身体太远（例如，在PPS之外），或者如果声音参数（例如，声音反馈的强度）的偏差与根据预测的声音偏差过大如上文提到的敲击动作和敲击声音的例子所示，那么声音将不再被认为是由身体产生的。

设计情感 ： 设计应用程序时的另一个重要信息是必须以统一的方式考虑声音设计，加入物理和用户体验的心理方面因素，比如康复进程。

• 以身体为中心的听觉反馈

一方面，情感设计需要考虑用户的情感状态（如焦虑），以及它如何影响注意力、认知和感知过程，这将影响人们对所呈现的声音反馈的感知和反应。另一方面，在特定情况下（例如警报）它打开了使用声音反馈的可能性，其他情况下能放松用户，或在调节身体表现时与其他过程交互。声音设计应考虑参数的选择（即强度、声源位置、相关含义），根据使用环境和使用者的个人心理和物理环境，选择与之相关的情感反应。

• 未来展望

可穿戴传感器和计算机的使用呈指数级增长，包括各种移动、增强现实设备，如增强玻璃、腕带和智能织物，这些设备可以监测身体运动和身体的其他生理状态，不可避免地需要寻找将这些身体信息传递给用户的方法。我们简要概述了一些考虑到声音和身体的潜在应用：

探身/探服 ： 一个潜在的应用可能是通过增强声音或呈现身体运动时产生的新声音来增强人们对身体运动、身体部位位置和大小的意识。先前的一项研究表明，通过要求人们穿定制的氯丁橡胶潜水服，在神经性厌食症的治疗中改善身体形象，可以给全身提供强烈的体感刺激（Grunwald&Weiss，2005年）。另一项研究表明，如果连接弯曲时伴随着特定设计的听觉和振动反馈，人们可能会感觉自己的身体是金属的或“机器人化”（Kurihara、Hachisu、Kuchenbecker和Kajimoto，2013年）。有没有可能通过专门设计的发声服来提高人们对身体的积极认识？而且，这种防护服是否可以用于提高普通人群和临床症状人群的福祉，如神经性厌食或肥胖？拥有一个健全的系统，提高人们对日常运动的认识，并致力于重新培养运动习惯，可以产生很强的治疗效果（Wang、Turaga、Coleman和Ingalls，2014年；另见Schiphorst，2011年）。事实上，“身体运动教育和治疗”领域比古典舞蹈更接近于治疗（Eddy，2009年）。这里的问题是运动到声音的映射策略和选择适当的时空关系来选择重要的身体运动特征。

健全量化自我 ： 量化自我的新兴运动从输入（如空气、食物）和表现（Russo，2015年）的角度来处理人的日常生活。可穿戴计算的最新进展，如用于人体化学实时分析的传感器阵列（Gao et al.，2016），为用户提供了各种多通道数据流，这些数据流与我们的身体固有相关，并可充分受益于以身体为中心的声音设计。换句话说，你今天的血糖水平如何？看到这种实时的音频-化学回路如何影响一个人的有机体是很有趣的。

身体扩展/身体交换 ： 我们的实验表明，人体表象的可塑性有一些明显的限制。这些限制可能与PPS中听觉信息的特殊处理有关（与远空间相反），或者可能与人体模型不完全塑性有关。例如，以前的文献中关于感觉诱发的身体收缩错觉的报告比身体扩张错觉的报告少得多（尽管参见，例如，Banakou、Groten和Slater，2013年；van der Hoort等人，2011年）。然而，可能观察到的限制与之前进行的研究中短暂接触听觉反馈有关。是否有可能进一步扩大或缩小身体，或拥有一个形状和外观与我们实际身体非常不同的身体的经历？

感官增强和魔法体验 ： 除了上述优点外，声音渲染技术通常还提供一种有趣的解决方案，如骨传导声音或收缩声波，以供个人使用超声波扬声器体验（Olszewski，2009年）。这些技术可以用来创造独特的或神奇的体验，如斯莱特和美国职业卫生组织（1994年）所说。例如，一个听到内心声音的模拟可以被用作基于声波化身的治疗迫害性听觉幻觉的方法（Leff、Williams、Huckvale、Arbuthnot和Leff，2014）。这里的一个重要问题是需要保持何种程度的技术模拟透明度（Lombard&Ditton，1997年）来保持“非调解的假象”。

感官替代系统 ： 声音被用来提供缺失的视觉或触觉输入（例如，V_ljam_e&Kleiner，2006）。振动和听觉信号都用来指示物体在没有视觉的情况下接近人体的位置（例如，Auvray、Hanneton和O’Regan，2007；Bird、Marshall和Rogers，2009）。在通过声音增强本体感觉方面，失去触觉的人使用音频手套（Lanzetta等人，2004年）。当声音被用来提供一种形式的感觉补充、本体感觉系统功能不正常时，是否建立新的大脑网络还有待回答。