unity 根据模型生成碰撞体_科技 | 技术——身体与音乐的碰撞：与纯音频虚拟现实界面的全身互动...

翻译：杜梦月

编辑：张泽峰

劳尔·阿尔托萨亚综合 媒体OCAD大学 多伦多，M5T1W1加拿大 3148968@student.ocadu.ca

亚当·夏尔数字期货OCAD大学副教授多伦多，M5T1W1加大、Atindale@faculty.ocadu.ca

朱迪思·道尔综合媒体副教授 SMACLabOCAD大学联合主任多伦多，M5T1W1加拿大jdoyle@faculty.ocadu.ca

允许将本作品的一部分或全部用于个人或教室使用的数字或硬拷贝免费发放，条件是： 副本不是为了利润或商业利益而制作或分发的，副本载有本通知和第一页的全部引文。 这项工作的第三方组件的版权必须得到尊重。 对于所有其他用途，请与业主/作者联系。TEI‘19，2019年3月17日至20日，坦佩，AZ，美国©2019年版权由所有者/作者持有。ACMIS BN978-1- 4503-6196-5/19/03。https://doi.org/10.1145/3294109.3301256

摘要

AVRL(A Very Real Looper)是一种纯音频的虚拟现实(VR)界面，表演者通过全身运动在其中来触发和控制音乐。与通常的VR音乐界面的使用方式不同，使用AVRL的表演者并不是通过沉浸式的方式与周围的环境断开，也不是通过头戴式的显示器来限制他们的身体。相反，AVRL利用两个VR传感器和Unity游戏引擎将虚拟音乐声音映射到现实世界中的物理物体上。这些物体可以帮助表演者找到声音的位置。使用两个手持式VR控制器，这些声音可以被触发、循环、声学影响或在空间中重新定位。因此，AVRL结合了物理世界和VR系统的优点，并将其与现实世界中的声音结合在一起。游戏引擎的可重构性。这种整合的结果是一个扩展的、增强的表演环境，促进了使用者全身的音乐互动。

关键词

纯音频虚拟现实；全身互动；增强型音乐表演；虚拟音乐界面；音乐表达的新界面。

CCS概念 -人为中心的计算~虚拟现实、听觉反馈、手势输入。 -应用计算~声音和音乐计算。表演艺术。 会议主题

• AVRL响应以下会议主题： 
• 表演(例如。舞蹈，身体表演，音乐)，探索或利用混合系统混合组件，结合数字、物理、生物和/或社会系统 
• 通过传统手工艺或非常规材料、专业艺术、手工艺或音乐等新奇的互动方式实现的新奇互动。 

导言

当在音乐表演的背景下考虑时，目前的VR系统是疏远的，因为它们抑制了沉浸式表演者与观众和周围空间的联系。这些系统会显得尴尬，因为它们依赖于头戴式的显示器(见图1)，阻碍了具有表现力的全身音乐互动。该领域的许多研究都集中在视觉界面上，而忽视了其他的感官模式[1]及其表现力。这些界面也很小，要么存在于智能手机屏幕上(见图2)，要么存在于头戴式显示器中。

在音乐表演的背景下，这些都是不可取的交互模式，阻碍了音乐表演者对日常世界、自己的身体、周围环境和其他人的理解和联系，从而阻碍了全身的音乐互动[2]。首先，这些系统提供了廉价的实时运动追踪，可以利用这些系统设计出新颖的音乐互动。其次，VR和AR系统允许将虚拟数据叠加在现实世界之上，从而使音乐表演在空间上和声学上得到增强。此外，在游戏引擎内部构建VR和AR音乐界面时，声音文件和MIDI序列等数字资产变得高度可重构。

我们假设，VR系统的可负担性可以减轻其在音乐表演中的阻碍。 

  图1-VR系统的标准使用：沉浸式用户 佩戴头戴式显示器，并使用手持控制器 与视觉模拟环境交互。 照片由劳尔·阿尔托萨，2018年©。   图2-AR系统的标准使用：将计算机生成的图像覆盖在真实世界图像之上的视觉界面。 约翰·克雷格·弗里曼的“边境纪念碑”是根据CCBY-SA3.0颁发的。

相关作品

Gibson的Opto-Photo-Photo-Kinesia是一种视听表演，表演者佩戴红外追踪器，用于控制音频效果、触发音乐声音、灯光变化效果[4]。与AVRL中的手持式VR控制器的功能类似，这些红外追踪器可以追踪用户在3D空间中的位置和速度。这使得表演者可以通过身体的运动与音乐元素进行对接。Mäki-Patola等人描述了四种用于评估VR技术在设计乐器的背景[5]。虽然他们的乐器主要依靠视觉模拟和用户沉浸式的方式，而AVRL并没有这样做，但他们关于适合VR的音乐界面的种类的讨论是有意义的。一些最早的VR音乐实验是由Bolas & Stone在1989年进行的。他们指出，VR技术所实现的设计和音乐交互的灵活性几乎是无限的[7]。同样贴切的还有Mulder将虚拟乐器描述为一个实时的手势界面，表演者可以通过它与声音合成系统的近乎无限的功能进行交互[8]。最后，AVRL呼应了Wessel和Wright对音乐控制的核心隐喻，通过物理上使表演者能够在音乐过程的空间中飞翔[6]。 

图3-表演者持有用于触发和控制AVRL 内音乐的VR控制器. 这些控制器是利 用HT CVive基站发射的红外光实时跟 踪的. 利用这种运动跟踪数据,控制 器的三维模型在Unity游戏引擎中的虚 拟环境中被动画化. 此动画对应于表 演者持有和移动的控制器的确切位置, 速度和旋转. 然后,控制器可以用来 碰撞到三维模型(见图) 已经覆盖在现实世界中的物理对象上 的5)(见图4). 这些碰撞在较低的延迟下触发各种音乐声音.照片由劳 尔·阿尔托萨,2018年©.

图4-表演者触发音乐声音,这些声音已被覆盖为3D模型(见图5)到表 演空间内的物理物体上. 这些物体充当视觉标记,代表音乐声音对表演 者的位置. 图片由劳尔阿尔托萨,2018年©.

图5-在Unity游戏引擎中捕获的AVRL的虚拟视图描述了3D模型(红  色)和Vive控制器(黑色)。 图片由劳尔阿尔托萨，2018年©。

一个非常真实的系统 (AVRL)

AVRL是HTC Vive VR系统的Unity游戏引擎内部内置的纯音频VR接口。这个接口的大小是由Vive的两个VR传感器(也就是基站)之间的距离决定的。AVRL是超大型的，通常是由一个中等大小的房间组成，但可以设置成最大的追踪量大约为3600立方英尺[3]。

首先，Unity和Vive的基站配合使用，将虚拟的三维(3D)模型叠加到现实世界中的物理对象上。这些物理物体在视觉上向表演者展示了三维模型的位置。这些三维模型已被编程为使用从基站接收到的运动跟踪数据实时检测到自身和手持式Vive控制器之间的碰撞(见图3)。

检测到碰撞后，3D模型会触发一个音乐样本、MIDI序列或特定的MIDI音符或和弦。因此，在AVRL内部，表演者与音乐发生物理碰撞。这些音乐声音和序列默认只触发一次，但可以通过按控制器上的按钮来循环。为了帮助表演者准确定位3D模型的位置，控制器会在检测到碰撞时提供强大的触觉反馈。

AVRL所包含的每一个3D模型都可以通过Vive控制器重新定位到表演空间内的新位置，而这两个基站的位置是由两个基站的位置来划分的。这使得表演者可以在表演前通过将3D模型映射到不同的位置，创造出新奇的全身音乐互动组合。例如，一个三维模型可以叠加到地面上的物理岩石上。这将迫使表演者蹲下身来触发特定模型所包含的声音。另一个3D模型可以被移动到表演者的头顶上方，并叠加到一个灯饰上，从而迫使表演者跳起来或将Vive控制器抛向空中以触发该声音。

Vive控制器还提供了大量易于访问的数字运动跟踪数据，包括当前运动速度、旋转和3D空间中的位置。在AVRL内部，这些数据被用来实时控制音频参数和效果。例如，表演者首先循环播放一个MIDI序列，然后通过在空间中移动控制器，将控制器调高或调低，改变影响该序列的音频效果强度。

结论

AVRL是一个纯音频的VR界面，它可以生成一个大型的、高度可重构的音乐表演环境，在空间上和声学上都能实现 增强型。在使用AVRL的时候，表演者不会被头顶的显示器所阻挡，不会被静态的视觉界面所固定，也不会通过沉浸式的方式与周围的环境分离。相反，在AVRL内部，一个无拘无束的身体在物理空间中移动，是音乐表达的主要渠道。在音乐表演中，AVRL可以让表演者与观众和周围的空间建立起一种关系，同时通过全身的运动来触发和控制音乐声音。因此，AVRL利用了物理世界、VR系统和游戏引擎，实现了具有表现力和体现力的音乐互动。

鸣谢

特别感谢Adam Tindale提出的重大问题，促使AVRL朝着正确的方向发展。非常感谢SMAC实验室的Judith Doyle为解决这个项目提供了空间和资源。

文件在这里可以看到AVRL的简短技术故障：https://vimeo.com/288778622. 在这里可以看到AVRL的早 期性能：https://vimeo.com/294810067.

参考资料

[1] 斯拉夫伯格H.和范德海德。2016. 多式增强现实：规 范而不是例外。在2016年多式虚拟和增强现实研讨会 会议记录(MVA R‘16)。美国纽约ACM，第1条，第6 页。DOI：https://doi.org/10.1145/3001959.3001960 [2] 罗伯特·J·K·雅各布、奥黛丽·吉鲁阿德、莉安·M·赫什菲尔 德、迈克尔·S·霍恩、奥里特·谢尔、艾琳·特雷西·索洛维和 杰米·齐格鲍姆。2008. 基于现实的交互：后WIMP接口 的框架。SIGCH I计算机系统中人的因素会议记录 (CHI‘08)。ACM，纽约，纽约，美国，201 210. DOI：https://doi.org/10.1145/1357054.1357089  [3] 布兰登·拉奇。2016. 灯塔神鸟。录像。(2016年2月 27日)。从https检索2018年11月4日 //www.youtube.com/watch？v=9b Zkp7q19f0  [4] 史蒂夫·吉布森。2018. Opto-Phono- Kinesia(OPK)：为专家表演者设计基于运动的交互。第 十二届有形、嵌入和体现相互作用国际会议记录 (TEI‘18)。美国纽约ACM，487-492。DOI：https://doi.org/10.1145/3173225.3173295 [5] Teemu Maki-Patola、Juha Laitinen、Aki Kanerva 和Tapio Takala。2005. 虚拟现实仪器的实验.. 2005 年会议记录音乐表达新界面会议(NIME‘05)。新加坡国立大学，新加 坡，11-16.. [6] 大卫·维塞尔和马修·赖特。2002. 计算机音乐控制的问 题与展望。科普特。音乐J. 26，3(2002年9月)， 11-22。DOI：http://dx.doi.org/10.1162/014892602320582945 [7] Bolas，M.&Stone，P.(1992年)。虚拟突变体。会 议记录国际计算机音乐会议，圣何塞，加利福尼亚州，美 国，360 361. 美国旧金山：国际计算机音乐协会。  [8] Mulder，Axel G.E.(1994年)。虚拟乐器：作为表 演者进入声音合成宇宙。1994年8月2日至4日在巴西米 纳斯吉拉斯卡桑布举行的第一届巴西计算机音乐专题讨 论会会议记录，巴西计算机学会第十四届年会，第243- 250页。Belo Horizonte，M.G.，巴西：米纳斯吉拉 斯联邦大学。

—END—