用于通过声波捕获显示视觉，触觉和音频的全息显示(A volumetric display for visual, tactile and audio presentation using acous)

Ryuji Hirayama, Diego Martinez Plasencia, Nobuyuki Masuda & Sriram Subramanian

2019年1月31日接收

2019年8月15日收录

2019年11月13日网上公开

摘要

科幻电影描绘的体积系统不仅提供视觉内容，而且还提供触觉和听觉的三维（3D）内容。基于扫掠体表面[1]，[2]，全息术[3]，光晶体学[4]，等离激元[5]或双凸透镜[6]的显示器可以创​​建3D视觉内容，而无需眼镜或其他仪器。但是，它们运行缓慢，视觉持久性有限，并且最重要的是，它们还依赖于不能产生触觉和听觉内容的操作原理。在这里，我们介绍了多模态声阱显示器（MATD）：一种悬浮的体积显示器，它可以同时使用声泳作为单一操作原理来传递视觉，听觉和触觉内容。
我们的系统以声学方式捕获粒子，并在快速扫描显示体积时用红色，绿色和蓝色的光对其进行照明以控制其颜色。通过使用带有辅助陷阱的时分复用，幅度调制和相位最小化，MATD可以同时提供听觉和触觉内容。该系统显示的粒子速度分别高达每秒8.75米和3.75米每秒分别在垂直和水平方向上提供每秒3次的速度，从而提供了优于迄今为止演示的其他光学或声学方法的粒子处理能力。此外，我们的技术还提供了非接触，高速处理物质的机会，并可以应用于计算制造[7]和生物医学[8]。

全息和小透镜显示器依赖于二维（2D）显示调制器，从而将3D内容的可见性限制为观察者的眼睛和显示表面之间的体积（即，直接的视线）。体积方法基于光散射，发射或吸收表面[9]。它们可以在显示器周围的任何地方提供不受限制的可见性，并且可以使用旋转表面（主动[1]或被动[2]），等离激元[5]，[10]，空气显示器[11]和电泳陷阱[4]创建。但是，这些方法都不依赖于可以重现触摸和声音的操作原理。迄今为止报道的声悬浮显示[12-14]仅显示了以降低的速度控制减少的点数，并且不涉及触摸或听觉声音。相比之下，我们的MATD提供了一个体积显示，用户可以在空中从显示体积周围的任何位置同时看到视觉内容，并从该体积接收听觉和触觉反馈（如补充视频1所示）。

我们的系统基于声学镊子，该镊子使用超声波辐射力来捕获颗粒[14-17]。 捕集已在空气[12]，[13]，[18]，[19]和水[16]等介质中进行了证明，其粒径范围从微米到厘米。 对于远小于波长且在远场状态下工作的球形粒子（例如，我们的MATD使用的球形粒子），施加的力受Gor’kov势的梯度控制[17]。 到目前为止，已经证明了几种陷阱形态，包括双陷阱，涡旋陷阱和瓶形射束[20-22]，可以高效地对其进行分析计算[22]。

我们的设备（如图1a所示，在“方法”中有详细介绍）利用了
这些进步，使用现场可编程门阵列（FPGA）在硬件级别分析计算单个孪生陷阱或聚焦点。这样就可以在10×10×10 cm3的体积中以仅受换能器频率限制的速率更新陷阱的位置和幅度。相比之下，空间光调制器的更新速率仅限于数百赫兹，而检流计的更新速率通常高达20 kHz。现有的声调制器仅限于数百赫兹[14]，位移速度远低于1 m s-1。我们当前的MATD实施方式在垂直和水平方向上的更新速率分别高达40 kHz和粒子位移速度分别高达8.75 m s-1和3.75 m s-1。通过利用如此高的调制率和超声的机械特性，我们的控制技术（如下所述，并在“方法”中进行了详细介绍）除了3D视觉持久性（POV）内容外，还可以传递触觉和听觉内容。

MATD的操作原理

为了创建视觉内容，我们将半径为1毫米的白色膨胀聚苯乙烯（EPS）粒子悬浮为朗伯表面的近似值。 这样的粒子可以使用声捕获力的预测模型，以及用于描述在受控照明下感知到的颜色的简单分析模型（请参见“方法”，“照明控制”）。 双阱的硬件嵌入式计算（请参见方法，“双悬浮阱和对焦点的嵌入式计算”）可控制和快速悬浮我们的扫描粒子，并与漫射照明模块（RGB发光二极管，LED）同步 ）。 这样就可以创建一个POV显示器，该显示器可以精确控制感知的颜色（用γ= 2.2进行伽马校正），可以通过POV（图1b，c，e）或完全光栅化的内容（图1d）来传递2D或3D矢量内容。 即使在传统的室内照明条件下，也需要20 s的曝光时间（请参见补充视频4）。

我们的测试（请参见“方法”，“线性速度测试”和“加速度，尖角和最小曲率半径”）显示出较高的扫描速度和加速度，远高于迄今为止展示的光学[4]或声学[14]设置。表1中根据MATD的各种操作模式总结了最关键的显示参数：没有振幅调制的单个粒子（仅视觉内容），振幅最小的单个粒子（在最坏的情况下，显示视觉和音频）内容）和具有最小幅度的时分多路复用双陷阱（在最坏的情况下，提供所有的视觉，音频和触觉内容）。俘获力以及可达到的速度和加速度随粒子运动的方向而变化（也就是说，它们在垂直方向上最高）。表1提供了沿水平方向的最大位移参数（在最坏的情况下，捕获力较小）作为保守的参考值，可以独立于粒子方向进行内容复制。

表1 | MATD的主要参数

	视觉	视觉+听觉	视觉+听觉+触觉
记录的最高速度, vmax (m s-1)	3.75	3.375	2.5
记录的最高加速度, amax (m s-2)	141	122	62
角功能的最高速度, vcorner (m s-1)	0.75	0.5	0.375
迄今为止最高的图像帧速率(Hz)	12.5	10.0	10.0
颜色(bpp)	24	24	24

表1中的参数用于计算和规划路径，以创建肉眼可见的POV内容。人眼可以在短时间内（即使在明亮的环境中，通常接受0.1 s作为保守估计，也可以接受一个单一的感知（即，单个形状或几何形状））不同的光刺激，因此我们的粒子需要在不到此时间（0.1 s）的时间内扫描内容。我们的参数使我们能够确定可行的路径（粒子速度，加速度和曲率在所确定的范围内），仅通过利用一小部分就可以在不到0.1 s的时间内显示出显示器的功能。图1b中的示例字母（以12.5 Hz，1×2 cm2追踪）要求的粒子速度最高为0.8 ms-1，而图1c（10 Hz，直径1.8 cm）中的面和3D圆环结（图10b） 1e（10 Hz，2 cm边）要求的速度为1.3 ms-1。无论观看者的位置如何（图3a，b），我们的体积内容均未显示出明显的闪烁和良好的色彩再现（图2a）。图2a显示了使用矢量图像（数字，如七段显示器）执行的色彩测试示例，并具有良好的色彩饱和度。通过添加额外的照明模块或功能更强大的LED，可以获得更明亮的图像（方法中的详细信息“照明控制”）。

图2b显示了MATD产生加性和灰度颜色的能力， 图1d，2c，3c显示了二维和三维尺寸的栅格颜色内容示例，类似于Smalley等人（4）创建的示例，分别使用了高达0.6、0.2和0.9 ms-1的粒子速度。 必须考虑散射特性（即，粒子周围的感知颜色），粒子速度（即，受路径长度影响的照度）和人为响应（即，非线性亮度响应），才能实现准确的色彩还原（请参见 方法，“照明控制”）。

通过使用辅助聚焦陷阱和自定义多路复用策略（位置而不是幅度，以相差最小化进行多路复用；方法，操作模式和单陷阱和双陷阱的多路复用策略”）。仅使用25％的占空比来提供差异化​​的触觉反馈。因此，仍然有75％的循环可用于放置主陷阱，并且触觉含量使扫描速度损失最小。在我们的实验中，我们选择了250 Hz的调制频率，以避免人类听觉感知的主要范围[24]（2 kHz–5 kHz），以将寄生噪声降至最低，但仍保持在皮肤层状小球振动的最佳感知阈值之内[25]。 10 kHz的触觉刺激更新率足以满足时空复用策略的要求，从而使空中触觉内容的保真度最大化[26]。我们的结果（请参见方法，“触觉的产生和质量”）显示，触觉点的准确定位和聚焦以及大于150 dB的声压级，远高于触觉刺激所需的72 dB阈值[27]（在辅助视频中进行了说明） 5）。

使用陷波器的上边带幅度调制28通过超声解调产生可听声音。我们以40 kHz的采样率对大部分听觉频谱（44.1 kHz）进行了编码，即使在相对较小的调制指数（a = 0.2）的情况下，高功率换能器阵列也能产生可听见的声音，同时仍能在40- kHz速率。图2a显示了视觉内容的三个示例，同时可听见的内容为60 dB。为了同时进行听觉和触觉刺激，我们将40 kHz多频音频信号与触觉调制信号（250 Hz）结合在一起，保持了各个信号的采样频率并减少音频质量的损失（补充视频1）。 MATD支持两种音频生成模式（请参见“方法”，“支持的音频模式”）。第一种模式使用捕获的粒子作为散射介质，它隐式提供空间化的音频29（即，声音来自显示的内容），但是根据我们的经验，这种方向性提示很弱（大多数声音来自我们工作的中心）卷）。第二种模式使用辅助陷波器将声音引向用户，从而导致更强的指向性和更高的声音水平。但是，定向音频的使用当前是以传递同时的触觉反馈为代价的（同时视觉，触觉和定向音频将需要三个陷阱的多路复用-每个模态一个）。

MATD的性能

我们在此展示的MATD实例是使用低成本的市售组件创建的，不仅易于复制，而且存在一些局限性。 我们的测试在允许继续使用的传感器电压下进行（峰峰值之间为12 V）。 在更高电压下（峰峰值为15 V，持续时间<1 h）进行的测试表明，增加传感器功率可以带来更好的性能参数（例如，最大水平速度为4 m s-1）和更复杂的内容。 增加的功率还可以使MATD以50％的占空比工作，从而进一步减少音频伪像（参见图7d的扩展数据）。 类似地，以更高的频率（即80 kHz）工作的换能器也可以改善音频质量，并与减小的换能器音高相结合，将改善悬浮陷阱的空间分辨率（扫描粒子的更精确路径）。

MATD展示了通过将粒子保持在动态平衡状态（而不是像大多数其他悬浮方法那样是静态的，而是静态的；请参见方法，“线性测试速度”）来操纵粒子的可能性，从而实现了较高的加速度和速度。使用能够准确预测粒子动力学的模型（即，在声力，阻力，重力和离心力方面，而且还要考虑次级陷阱的干扰和换能器相位更新中的瞬态效应）可以更好地利用观察到的最大速度和加速度，从而实现更大，更复杂的视觉内容。或者，它们可以实现声压的更有效利用，提供与MATD相似的速度和加速度，但为主陷波器分配较低的占空比。然后，可以将这种功能专用于实现更强的触觉内容或支持更多同时捕获的陷阱（例如，同时进行视觉，触觉和定向音频场景所需的三个陷阱）。

更先进的照明方法（例如，用检流计4或光束转向机构11）将允许使用聚焦光和更明亮的显示器。 在显示器周围使用多个照明模块将提供对所显示内容的视觉属性的更好控制。 例如，四个照明模块（在MATD的每个角上一个）将允许我们仅照亮图3c中的地球的外部。 与用户位置无关，地球的隐藏部分将是最小可见的。

结合较密集的照明阵列（例如，光源环）和粒子的预测光散射图案，可以将粒子的总散射场计算为每个光源的散射场的线性组合。 例如，可以使用它来创建接近各种材料属性的视觉内容（例如，使内容看起来像金属或哑光），模拟不同的光照条件，甚至在不同的观看方向上传递不同的内容。

由于手表面的散射，用户的手的存在会使声场失真。 当用户的手从侧面或正面靠近时，阵列的电源和自上而下的布置可提供稳定的操作（请参阅补充视频4）。 将手放在主陷阱的位置下方或上方（阻塞一个阵列）更容易产生故障（即扫描粒子掉落）。 次级捕集器与初级捕集器的紧密接近也会使扫描粒子的捕集变形。 我们成功地以最大速度复制了曲率测试，并且触觉点位于距圆2 cm处。 这表明尽管触觉反馈不能直接在视觉内容之上再现（以避免从扫描粒子散射或直接碰撞），但触觉反馈却可以在视觉内容附近产生。

我们的研究演示了一种创建容积式POV显示器的方法，该方法可以同时传递听觉和触觉反馈，并且功能超过了替代光学方法4。 基于极化的电泳方法30可以与本研究中证明的粒子操纵（即速度和加速度）潜力相匹配，但它们仍然无法包含声音和触摸。 因此，演示的MATD原型使我们更接近体积显示，从而提供了虚拟内容的完整感官再现。 除了为多模式3D显示器开辟一条新途径外，我们的设备和技术还可以在声场频率速率（即40 kHz）下对声阱进行定位和幅度调制，还为化学或化学实验室提供了有趣的实验设置 a芯片应用（例如，扩展数据图10和补充视频6中展示的多粒子悬浮和模式振荡）。

在线内容

任何方法，其他参考资料，Nature Research报告摘要，源数据，扩展数据，补充信息，确认书，同行评审信息； 作者贡献和竞争利益的详细信息； 有关数据和代码可用性的声明，请访问https://doi.org/10.1038/s41586-019 1739-5。

参考文献

1. Sawalha, L. et al. A large 3D swept-volume video display. J. Disp. Technol. 8, 256–268
(2012).
2. Langhans, K., Oltmann, K., Reil, S., Goldberg, L. & Hatecke, H. in Lecture Notes in
Computer Science Vol. 3805 (ed. Subsol, G.) 22–31 (Springer 2005).
3. Blanche, P. A. et al. An updatable holographic display for 3D visualization. J. Disp.
Technol. 4 424–430 (2008).
4. Smalley, D. E. et al. A photophoretic-trap volumetric display. Nature 553, 486–490 (2018).
5. Ochiai, Y. et al. Fairy lights in femtoseconds: aerial and volumetric graphics rendered by
focused femtosecond laser combined with computational holographic fields. ACM Trans.
Graph. 35, 17 (2016).
6. Gao, X. et al. High brightness three-dimensional light field display based on the aspheric
substrate Fresnel-lens-array with eccentric pupils. Opt. Commun. 361, 47–54 (2016).
7. Foresti, D. et al. Acoustophoretic printing. Sci. Adv. 4, eaat1659 (2018).
8. Watanabe, A., Hasegawa, K. & Abe, Y. Contactless fluid manipulation in air: droplet
coalescence and active mixing by acoustic levitation. Sci. Rep. 8, 10221 (2018).
9. Smalley, D. E. OSA Display Technical Group Illumiconclave I. (OSA, 2015); http://
holography.byu.edu/Illumiconclave1.html.
10. Saito, H., et al. Laser-plasma scanning 3D display for putting digital contents in free
space. Proc. SPIE 6803, 680309 (2008).
11. Perlin, K. & Han, J. Y. Volumetric display with dust as the participating medium. US patent
6,997,558 (2006).
12. Sahoo, D. R. et al. JOLED: a mid-air display based on electrostatic rotation of levitated
Janus objects. In Proc. of the 29th Annual Symposium on User Interface Software and
Technology 437–448 (ACM, 2016).
13. Norasikin, M. A. et al. SoundBender: dynamic acoustic control behind obstacles. In Proc. of
the 31st Annual Symposium on User Interface Software and Technology 247–259 (ACM, 2018).
14. Marzo, A. & Drinkwater, B. W. Holographic acoustic tweezers. Proc. Natl Acad. Sci. USA
116 84–89 (2018).
15. Brandt, E. H. Acoustic physics: suspended by sound. Nature 413, 474–475 (2001).
16. Wu, J. Acoustical tweezers. J. Acoust. Soc. Am. 89, 2140–2143 (1991).
17. Bruus, H. Acoustofluidics 7: the acoustic radiation force on small particles. Lab Chip 12
1014–1021 (2012).
18. Omirou, T., Marzo, A., Seah, S. A. & Subramanian, S. Levipath: modular acoustic levitation
for 3D path visualisations. In Proc. of the 2015 CHI Conference on Human Factors in
Computing Systems 309–312 (ACM, 2015).
19. Memoli, G. et al. Metamaterial bricks and quantization of meta-surfaces. Nat. Commun. 8,
14608 (2017).
20. Baresch, D., Thomas, J. L. & Marchiano, R. Observation of a single-beam gradient force
acoustical trap for elastic particles: acoustical tweezers. Phys. Rev. Lett. 116, 024301 (2016).
21. Whymark, R. R. Acoustic field positioning for containerless processing. Ultrasonics 13,
251–261 (1975).
22. Marzo, A. et al. Holographic acoustic elements for manipulation of levitated objects.
Nat. Commun. 6, 8661 (2015).
23. Bowen, R. W., Pola, J. & Matin, L. Visual persistence: effects of flash luminance, duration
and energy. Vision Res. 14 295–303 (1974).
24. Gelfand, S. A. Essentials of Audiology 3rd edn (Thieme, 2010).
25. Makous, J. C., Friedman, R. M. & Vierck, C. J. A critical band filter in touch. J. Neurosci. 15,
2808–2818 (1995).
26. Frier, W., Pittera, D., Ablart, D., Obrist, M. & Subramanian, S. Sampling strategy for
ultrasonic mid-air haptics. In Proc. of the 2019 CHI Conference on Human Factors in
Computing Systems 121 (ACM, 2019).
27. Carter, T., Seah, S. A., Long, B., Drinkwater, B. & Subramanian, S. UltraHaptics: multi-point
mid-air haptic feedback for touch surfaces. In Proc. of the 26th Annual ACM Symposium
on User interface Software and Technology 505–514 (ACM, 2013).
28. Gan, W. S., Yang, J. & Kamakura, T. A review of parametric acoustic array in air. Appl.
Acoust. 73, 1211–1219 (2012).
29. Ochiai, Y., Hoshi, T. & Suzuki, I. Holographic whisper: rendering audible sound spots in
three-dimensional space by focusing ultrasonic waves. In Proc. of the 2017 CHI
Conference on Human Factors in Computing Systems 4314–4325 (ACM, 2017).
30. Shvedov, V., Davoyan, A. R., Hnatovsky, C., Engheta, N. & Krolikowski, W. A long-range
polarization-controlled optical tractor beam. Nat. Photon. 8, 846–850 (2014).
发行人的声明：Springer Nature对于已发布地图和机构隶属关系中的管辖权主张保持中立。

方法

实验装置概述

使用两个相对的16×16换能器阵列进行实验，两个换能器彼此顶部对齐，间距为23.4 cm（参见图1的扩展数据）。 我们将Murata MA40S4S换能器（40 kHz，直径1 cm（约1.2λ;λ，波长），峰峰值为12 V，在1 m距离处提供约1.98 Pa）用于两个阵列和高强度RGB LED（OptoSupply，OSTCWBTHC1S） 照亮粒子。

Waveshare Core EP4CE6 FPGA板用于接收来自CPU的更新（3D位置，RGB颜色，相位和幅度），使用10位编码每个（X，Y，Z）位置（0.25毫米分辨率），使用24位颜色（ RGB）和8位的陷波幅度和相位，每次更新需要18个字节（每个传感器阵列9个字节）。 使用12 Mbps的FTDI FT245协议进行通信，每秒允许40×103更新。 以下各节详细介绍了我们设置的相关方面，例如操作模式，技术特性，多路复用策略和实验测试。

驱动参数

换能器操作（相位和幅度控制）。换能器使用40 kHz的12 V峰峰值方波信号驱动，由于其窄带响应而产生正弦输出。相位延迟是通过40 kHz方波的时间偏移实现的（请参见图2a的扩展数据），而幅度控制是通过减小方波的占空比（即减少高周期的持续时间）来实现的。在扩展数据图2a）的下一行中。换能器的复振幅不随占空比线性变化（也就是说，占空比为25％的控制信号不会导致占空比为50％的控制信号的一半幅度；参见图2b的扩展数据） 。我们通过使用一个换能器和位于其前面4 cm的麦克风来执行此映射。我们使用GW INSTEK AFG-2225信号发生器来驱动换能器（即方波，变化的相位和占空比，根据扩展数据图2a），并将Brüel＆Kjær4138-A-015麦克风连接至PicoScope 4262示波器可测量接收信号和参考信号之间的差异。这使我们能够评估换能器的正弦响应（用于驱动它们的方波不会引入谐波；请参见图2c的扩展数据），并记录振幅如何随占空比变化。我们使用等式（1）将占空比与有效幅度进行了实验匹配，总体行为如图2b所示。

我们将此功能存储为FPGA中的查询表（以将幅度映射到占空比），以便以所需速率（40 kHz）有效地计算更新。 这导致调制器提供64级的相位（π/ 32 rad的分辨率）和33级的幅度分辨率。

双悬浮陷阱和对焦点的嵌入式计算。 焦点和双悬浮陷阱的计算被嵌入到FPGA中。 对于位置p且相位为ϕp的焦点，每个换能器的相位（ϕt）如下离散：

其中k代表所用频率的波数（k =2π/λ≈726.4 rad m-1），pt代表每个换能器的位置，d代表欧几里得距离函数。

通过组合高强度焦点（如式（2））和悬浮信号来计算双阱。 悬浮签名是通过将πrad的相位延迟添加到顶部阵列中的换能器来实现的（如Marzo等人[14]所使用的），从而产生使垂直力最大化的陷阱。 传感器位置和相对于距离的离散相位延迟存储在FPGA的两个查找表中，从而简化了焦点和悬浮信号的计算。

照明控制。 我们使用了一个配备有高强度RGB LED的照明模块（OptoSupply，OSTCWBTHC1S），该照明模块位于MATD原型的右上角。 根据制造商的参数（电流，150 mA；电压，2.5 V（R）和3.3 V（G / B））驱动LED，并给出22 lm（红色），35 lm（绿色）和12 lm的光通量。 lm（蓝色）。

可以使用方程式（3）中所示的双向反射率分布函数（BRDF）的定义，对在MATD周围的观察者产生的粒子感知的亮度（例如，我们视觉内容中的一个点）进行解析近似。仅取决于观察者，粒子和光之间的角度α。粒子的白色和扩散表面使我们能够将其BRDF近似为朗伯表面。与到光源的距离相比，粒子的直径较小，因此我们可以假设入射照度（单位面积和单位时间发射的感知辐射能的量）在粒子的被照射表面上几乎恒定，并且具有恒定的入射方向（即光源近似为定向光）。同样，由于距观察者的距离较大（与粒子直径相比），我们可以假设从粒子到观察者的射线方向也平行。然后，所感知的亮度是从光源所照射的球体的每个部分朝着观察者的方向散射的，并且对于观察者可见的亮度的总和，如式（3）所示。在等式中，dEi表示入射到粒子上的照度的差异，dL表示在粒子表面的每个点处朝向观察者的亮度的差异，dS表示表面的差异，θ和φ表示球坐标：

最终，需要校正入射照度达粒子实际存在于视觉内容的每个离散部分中的时间的一部分。 需要考虑人类对亮度的非线性响应（例如，史蒂文的幂定律）。 我们使用了一种伽玛校正方法（γ= 2.2），类似于阴极射线管监视器中使用的方法，以校正这些影响。

MATD的操作配置，多路复用策略和本地阶段更新

单陷阱和双陷阱的操作模式和复用策略。 硬件可以提供40 kHz的各个相位和幅度更新以及时分多路复用，以同时创建多个悬浮陷阱（扩展数据，图10a）。 但是，根据两种主要的操作配置，我们的MATD原型最多只需要使用两个时分复用陷阱：一个主双陷阱和一个辅助对焦点：

（一）单阱模式。仅存在主双阱（100％占空比，每秒40×103更新），并装有半径约1 mm的EPS粒子。该悬浮陷阱用于扫描体积，该体积与我们的照明模块同步，提供了显示的视觉组件。通过采样预期的40 kHz音频信号（例如，来自文件）来产生可听声音，然后将其用于调制阵列中换能器的幅度。
使用了单侧频带调制方法（调制指数a = 0.2），从而产生了大于60 dB的可听声音（即在常规的人类对话中；请参见方法，“支持的音频模式”）。当粒子悬浮以在悬浮点产生可听见的声音时，我们调制振幅。具体来说，我们使用上边带调制（请参见公式（4）），该调制可避免谐波失真并实现同时悬浮和听得见的声音（请参见补充视频1）。调制信号的计算公式为：

其中g（t）代表需要在时间t创建的音频信号，而g t ˆ（）代表g（t）的希尔伯特变换。 信号以40 kHz采样，结果振幅ASSB（来自等式（4））与当前更新所需的其余参数（即位置，颜色和相位）一起发送至FPGA，隐含地保留了同步 在视觉（位置和颜色）以及触觉内容与音频之间。

（二）双陷阱模式。此模式用于需要传递触觉反馈的情况（例如，仅在用户的手在场的情况下）。在这种情况下，可以如上所述设置主要诱捕器，但是需要将其与辅助诱捕器复用，从而产生触觉刺激。对于这种复用，需要考虑两个主要参数：幅度复用和位置复用。
首先，振幅多路复用涉及触觉质感的恢复，涉及到可以由皮肤的层状小体检测到的调制频率（我们使用的示例调制频率为250 Hz）。幼稚的方法是在触觉信号的振幅（250 Hz）和听觉信号（多个频率）之间进行多路复用，而牺牲每个信号的频率。相反，我们将触觉和听觉信号合并为40 kHz的单个信号，从而避免了振幅多路复用（请参见方法，“音频生成和质量”）。

其次，悬浮和触觉陷阱的位置也需要多路复用，我们将其称为“位置多路复用”，以反映出陷阱是在不同的空间位置创建的事实。与幅度多路复用不同，位置多路复用仅影响换能器的相位，在这种双阱场景中无法避免。在我们的MATD系统中，我们分配了75％的更新（三个连续更新或75μs;更新速率为30 kHz）来重新创建悬浮陷阱，并为触觉刺激提供25％（一次更新或25μs；更新速率为10 kHz）。
这些位置的高频变化（即每秒在触觉和悬浮陷阱之间发生104次变化）会导致换能器相位突然变化，这可能会迫使它们以次佳的频率运行。为了缓解此问题，将下一个更新的相位（等式（2）中的？p）设置为使当前传感器和前一个传感器的相位分布之间的绝对相位差之和最小的值。

测试实验条件。 包含上面讨论的功能（双陷波模式下声音的振幅调制和多路复用）对系统的性能有影响。 在我们的测试过程中，我们探索了三个固定的实验条件，这些条件表征了在乐观和最坏情况下MATD的运行性能。
（i）乐观单阱模式（OSTM），仅具有主阱和固定的最大幅度（ASSB = 1）。
（ii）悲观的单陷阱模式（PSTM），仅具有主陷阱和最小幅度（ASSB = 0.83，等效于使用音频文件的静默部分）。
（iii）悲观双陷阱模式（PDTM），同时具有两个陷阱（主要陷阱的占空比为75％；次要陷阱的占空比为25％）和最小幅度（ASSB = 0.83）。 次要（触觉）陷阱的位置固定，水平放置在阵列的边缘，高度等于阵列中心的高度。

技术特性：粒子控制，视觉，音频和触觉方式

初步表征：粒径和更新速率。 由于重量和阻力效应的差异，粒径会影响MATD的性能。 通过选择大小不同（七类，直径为1-4 mm）的高球形EPS颗粒，我们首先评估每个颗粒的球形缺陷，然后使用测量装置对其进行表征。

我们的设置（请参见图3a的扩展数据）使用Logitech HD Pro c920摄像机，该摄像机位于10×6 cm2测量床上方24 cm处。 我们的软件会自动检测测量床并使用单应性校正透视变形。 这提供了小于0.1毫米的校正像素精度。 然后，我们将圆度计算为面积与周长的比率（圆度=4π（面积）/（周长）2），仅接受圆度> 0.9的粒子。 将每个颗粒五次掉在床上（以捕获不同角度的颗粒），并且只有在所有五个测量中的圆度测试均成功的情况下才被接受。 我们的软件还返回了粒子的直径，我们将其用于将粒子分类为七个分类的类别（直径从1毫米到4毫米，每个类别的公差为±0.2毫米）。 每个类别收集了二十个颗粒，并在我们的测试中使用。

我们使用这些初始的粒子集为我们的MATD选择最佳的粒度。 扩展数据图3b显示了初步速度测试（实验过程，如方法部分的“线性速度测试”中所述），标识了每个类别的最大水平位移速度。 初步评估显示，粒径在1.5到2.5 mm之间的最佳峰值速度。 尽管可以使用MATD成功地使用各种大小来创建体积表示（扩展数据，图3c），但我们为剩余的实验选择了2 mm直径粒子的精选集合。 该组的粒度分布和球形度在扩展数据图3d中显示.EPS中的粒子密度和声速分别约为19 kg m-3和900 m s-1。

最后，我们探索了MATD更新速率对可达到的粒子速度的影响。 具体来说，我们沿垂直方向进行了速度测试（方法如“方法”中的“线性速度测试”所述），确定了在156 Hz至40 kHz之间的MATD更新速率范围内的最大粒子速度。 我们的结果总结在图3e的扩展数据中，说明了MATD的高更新速率（较高的更新速率允许较高的粒子速度）的好处，并且PDTM不能以低于2.5 kHz的速率被支持（即，在 2.5 kHz时，PDTM的3：1时分多路复用率需要每1600μs400μs来创建触觉点（在此期间悬浮粒子会掉落）。

线速度测试。 由于我们使用的悬浮陷阱的类型，诱集力取决于方向。 我们的捕集阱可最大程度地提高垂直捕集力，而沿水平面的作用力则较弱，这会影响沿每个方向施加在粒子上的加速度和速度。 本节描述了我们对使用MATD可以达到的速度的探索。 特别是，我们使用选择的颗粒（直径约2毫米）并进行了测试，以表征三个实验条件（OSTM，PSTM和PDTM）在三个方向上的最大位移速度：沿垂直方向Y（均沿垂直轴Y）移动 在我们的MATD设置下，X和Z轴是等效的（例如，旋转90°）。 沿Z的速度结果与沿X的速度结果相似，此处未报告。

这些测试使用10 cm的线性路径，粒子从MATD中心的左侧向左5 cm开始并在其右侧的5 cm处停止（对于垂直测试，在中心上方或下方5 cm）。

粒子开始处于静止状态，并不断加速以达到阵列中心的最大速度。 然后，它们不断减速，直到在距起始位置10厘米的位置恢复静止（例如，请参见补充视频3）。 我们使用了一个静态相机（CANON，EOS 750D），它放置在MATD前方12厘米处（参见图4a的扩展数据），并去除了所有光线。 我们使用了长时间曝光的镜头来记录我们的试验，并使用RGB照明系统以1 ms的步长照亮（即颜色代码）粒子沿其路径的演变（例如，参见图4b、c的扩展数据）。

在探索潜在的最大线性速度（vmax）时，我们采用了二等分法（初始边界v1 = 0，v2 = 16 m s-1）。 我们以每个速度执行了10次测试，并且仅当9/10次重复成功后，才认为测试是成功的（并测试了较高的半间隔）。 在连续三个失败的测试之后，我们停止了工作，并且仅报告了观察到的最高成功速度。 本节中描述的所有后续实验（加速度，曲率半径和转角速度）均使用相同的测试程序（对等搜索；要求9/10的成功率；停止标准：三个连续的失败）。

扩展数据图5总结了沿水平方向（扩展数据图5a）和垂直方向（扩展数据图5b，c）传播的每种条件（OSTM，PSTM和PDTM）获得的最终vmax值。在图5a–c的扩展数据的顶部面板中，黑色实线表示悬浮陷阱的速度，彩色线表示在测试过程中捕获的实际粒子速度的示例。不出所料，最大排量速度受所用操作模式的影响。当包含音频时（OSTM与PSTM），最大速度的减小很小，而引入触觉效果时，效果却要大得多，这是因为声功率在两个陷阱之间分配（即，PDTM模式的时分复用）。而且，与水平位移相比，沿垂直轴的线速度要高得多（尤其是由于重力的作用而向下移动）。这是因为我们的装置（带有顶部和底部阵列）以及双阱在垂直方向上产生了更大的沿垂直方向更强的悬浮力（请参见图4d的扩展数据），从而允许更高的加速度。

在扩展数据图5中观察到的路径显示了粒子速度（顶部），粒子到陷阱的距离（中间）和加速度（底部）之间的预期相关性。 零点Δp的点（即没有向粒子施加任何净力）对应于每个速度曲线图中的最大/最小点（即导数等于零），并且Δp的符号与速度的单调性对齐 曲线，当Δp为负时增加，反之则减少。 在Δp（中）和加速度图（下）之间可以观察到类似的相关性。 当Δp为负时，加速度保持正值，反之亦然（也就是说，陷阱按照图4d中扩展数据的分布，作为恢复力），并且两个图中的突出特征都匹配得很好（例如，最大值，最小值 以及图与水平轴的交点）。

如图5a-c的扩展数据的中间面板所示，值得注意的是，粒子几乎总是保留在实际悬浮陷阱所在位置（Δp）的几毫米之内，并处于高加速度下。 与其他悬浮剂相比，该观察对于理解MATD的行为很重要。

恰好位于悬浮陷阱中心（Δp= 0）的粒子将获得零净力贡献，使其在该位置稳定，但也不会提供加速度。 这对于设计用于精确（但缓慢）颗粒操纵的悬浮机来说是理想的选择。 同样，这种悬浮物通常以低得多的更新速率（即数百赫兹）运行，因此，当捕集阱的位置移动时，粒子有足够的时间过渡到新的捕集阱位置。 随着粒子接近陷阱的中心，接收到的加速度会减小。 如果每次更新的持续时间足够长，粒子将越过陷阱的中心并开始接受负力（减速），并开始振荡运动，直到（几乎）稳定在陷阱的中心。 因此，具有低更新速率的调制器可能导致粒子的加速度不均匀，或者使粒子难以在更新之间保留其动量（累积速度）。

在每次更新后，由MATD处理的粒子不会达到这样的静态平衡。 取而代之的是，它们需要与悬浮陷阱的中心保持一定距离（Δp），以便接收力并因此被加速。 可以根据陷阱周围各点的戈尔科夫势导数来理解这种行为。扩展数据图4d显示了这种力如何在陷阱周围的点处演化，这是通过考虑我们的陷阱（双陷阱）得出的分析结果 ，粒子（半径，大约1毫米；密度，大约19千克m-3；声速，EPS，900毫秒-1），设置（16和16个传感器的顶部和底部阵列，每个阵列使用活塞模型22建模）和 假设分别为346 ms-1和1.18 kg m-3作为空气的速度和密度。

如图4d扩展数据的顶部图所示，沿着水平轴的恢复力在距捕集阱中心近±3.5 mm的距离处达到峰值，这与在水平速度测试中检测到颗粒的距离非常匹配。 对于垂直测试，可以观察到类似的行为。 在这些情况下，沿垂直方向的恢复力峰值（参见图4d的扩展数据，底部）位于±1.5 mm的距离处，再次与我们观察到的位移相匹配。

阱和颗粒并不总是保持在那些峰值距离（即±3.5 mm和±1.5 mm）的事实似乎表明，对于水平和垂直位移，甚至应该可以达到更高的速度。 但是，这将需要更复杂的控制机制来确定悬浮陷阱的位置，准确地预测粒子在每个时间点的位置（考虑声力以及阻力，重力和离心力）并放置陷阱 因此（例如，在粒子之前3.5毫米以获得最大水平加速度）。 对于这样的模型，还应考虑其他因素，例如与同时产生可听声音有关的复振幅（并因此而引起的力）的时间变化，或来自次级陷波器的复用和干扰。

加速，尖角和最小曲率半径。 通过定义闭合且平滑的参数曲线来创建MATD的内容，该曲线在路径的不同点处以不同的RGB颜色照明。 为了使肉眼可见的内容，这种封闭的曲线需要在不到0.1 s的时间内被粒子穿过（参考23），这成为影响所需的粒子操作（即所需的速度和加速度）的约束。 沿曲线的每个点传递以在0.1 s内显示出来）。

尽管最大位移速度（vmax，如“方法”部分的“线性速度测试”中所述）是规划/设计此类路径的相关约束，但其他参数（即最大粒子加速度，相对于速度的可行曲率半径和最大速度） 在拐角处的特征）同等重要，并进行了探讨。 同样，我们的表征遵循一种保守的哲学，即确定水平位移的最大值/最小值（即，具有最弱的陷波力）。 在扩展数据图6中总结了我们实验条件下获得的最终参数。

1）每个条件下的最大加速度。 某些内容没有（或不能）利用最大速度，但是它们将从加速中受益。 由于使用了较高的粒子速度vmax，因此可能会限制在“方法”部分的“线性速度测试”中确定的加速度。 例如，阻力随速度增加，并可能限制那些测试中的最大可行加速度。 同样，高速粒子位移会涉及到每个换能器相位的更频繁和更大的变化，从而使其在不同于40 kHz的频率下运行，并导致性能降低（即，发射压力）。

我们探讨了较高的加速度对于较低的目标线性速度是否可行。 此测试遵循的实验步骤与之前的速度测试中使用的步骤相似，但最大目标速度限于每种情况下确定的0.5vmax，0.8vmax和vmax值。 我们的测试（请参见图6的扩展数据）表明，所使用的目标速度（即，在OSTM，PSTM和PDTM模式下观察到的加速度与在方法中确定的加速度相匹配）不会影响（即增加）可达到的最大加速度。 “线性速度测试”部分），这似乎表明观察到的加速度上限与所使用的粒子速度无关，而与MATD施加的诱集力有关。

2）拐角处的最大速度。 我们测试了粒子可以完全改变方向（vcorner）的最大速度，例如渲染角或锐化特征所需的最大速度（请参阅补充视频3）。 常规实验步骤再次与方法部分“线性速度测试”中所述的相似。 但是，对每个试验的设计都进行了修改，以测试悬浮粒子是否可以在给定速度下完全改变方向。 对于每个测试速度，粒子再次从阵列中心的右侧开始5厘米处开始，以0.5amax线性加速直至达到测试速度，并在到达左侧5厘米处执行完整的180°转弯。 数组。 如表1所示，每种条件下获得的最大速度为0.75 m s-1（OSTM），0.5 m s-1（PSTM）和0.375 m s-1（PDTM）。

3）曲率半径与速度的关系。 扩展数据图6d显示了沿着不同半径（1到6 cm）的圆形路径移动的粒子可以达到的最大位移速度。 实验程序再次遵循其他测试所用的方法。对于每个测试的半径和速度，粒子开始静止并以最大0.5a的速度加速直到达到测试速度，然后沿所需半径的水平圆移动（请参见 补充视频3）。正如预期的那样，我们的结果表明，随着半径的减小（即，引入更高的向心力），最大线速度也会减小。 对于最大半径的测试（直径为12 cm），也观察到减小了，因为这样的圆跨越了我们的工作空间的界限，在该范围内，它从换能器接收的声辐射较少。

音频生成和质量。我们探讨了MATD生成的音频的质量，以及由于在双陷阱模式下进行多路复用而引入的伪像。在所有这些测试中使用的音频信号是a信号，其频率从100 Hz到20 kHz呈二次方增加（频谱图显示在图7a的扩展数据中，左图）。
为了表征单阱模式的性能，我们捕获了一个粒子，并使用chi音频信号调制了换能器的振幅（如方法部分“换能器操作（相位和振幅控制）”和扩展数据中的图2所示）。 ）。我们记录了用Audio-Technica PRO35麦克风产生的声音（记录的声音的频谱图显示在图7b的扩展数据中，左图），揭示了输入信号的准确表示，但由于谐波而有所降低。
为了探索幅度和位置复用的效果（请参见方法，“单陷阱和双陷阱的工作模式和复用策略”），我们对两个同时（时间复用）陷阱和两个输入音频信号重复了上述实验。我们为通道使用了相同的线性调频信号和250 Hz正弦信号（频谱图显示在图7a的中间，中间的频谱图）来重新创建触感。这代表了一种情况，其中主要的陷阱用于捕获颗粒（视觉和听觉反馈），而第二个陷阱用于在用户的皮肤上产生触觉反馈。

扩展数据图7b显示了通过幅度多路复用（将每个信号的幅度在20 kHz上进行时分复用）或将它们组合成单个40 kHz信号（在频域中添加的信号）来混合音频和触觉信号的结果，如扩展数据图7a（右）所示。我们的测试表明，在第二种情况下，重建的音频有所改善（扩展数据，图7b，右），不鼓励使用朴素振幅多路复用（扩展数据，图7b，中）。
如果同时有触觉和视听内容，则必须避免使用位置多路复用（即，将声功率聚焦在悬浮陷阱的位置持续75μs，然后将其重新聚焦在触觉陷阱的位置持续25μs）。将被交付。由于声压集中在不同的位置，位置多路复用会以10 kHz的多路复用速率（以及谐波频率）引入频率混叠。我们的测试表明，与同时使用幅度和位置多路复用相比，我们的多路复用方法（使用带有40 kHz信号组合的位置多路复用；请参见图7c的扩展数据）减少了听觉伪像（图7c的扩展数据，左） ），特别是对于谐波，并且我们的方法将人为主要听觉范围（即2–5 kHz）中的伪影最小化24。
这项研究还说明了MATD调制器需要更高的更新速率（也就是说，除了能够实现更高的粒子速度之外，如Extended Data图3e所示）。我们的复用时间表涉及10 kHz的复用速率，在谐波频率（即20 kHz）下也会产生混叠效应。速率较低的调制器会在更多的频率上产生伪像，并散布在听觉范围内（例如，工作在10 kHz的调制器将需要2.5 kHz的复用速率，从而在2.5 kHz，5 kHz，7.5 kHz左右引入伪像，等等）。还值得注意的是，我们原型中的混叠效应（大约10 kHz）与所使用的复用时间表有关（悬浮的75％，触觉的25％），这又与原型的功率限制有关。增大换能器功率，以50％的占空比实现有效的悬浮（悬浮为50％，触觉反馈为50％），通过将其在20 kHz的主要频率附近移动，可以避免大多数伪像。扩展数据图7d展示了使用我们的方法在这种配置（50％占空比）下进行的测试结果，与75％的配置相比，该产品显示出减少的伪像甚至更好的质量（扩展数据图7d，右）。

支持音频模式。 MATD支持两种不同的模式来创建音频：分散模式（扩展数据，图8a），提供非定向声音，但与同时的视觉和触觉内容兼容，以及定向模式（扩展数据，图8b）。使用辅助陷波器将声音导向用户方向，但不允许同时有触觉点（即仅视觉内容和定向音频）。
我们使用2 kHz可听信号作为可听输出，测量了两种方法中每种方法产生的可听声音。我们的测量设置包括一台经过改进的3D打印机（OpenBuilds Sphinx 55），其中的挤出机已卸下，并用经过校准的麦克风（Noric Environment Analyzer 121；在扩展数据中显示，图8c）代替。我们的软件通过在串行端口连接上发出G代码命令，以0.1 mm的精度控制了麦克风的位置。麦克风移开后停一秒（运动结束后），以避免振动引起的干扰。我们还配置了麦克风，使其仅在我们预期的可听信号周围的2 kHz的三分之一八度音阶中测量声音（也就是说，不受约束的测量也将捕获谐波，从而导致更高但误导的声压结果）。
测试了每种音频模式（散射和定向）的两种情况：一种在仅传送音频时测量听觉响应，另一种同时传送音频和触觉反馈。对于定向模式（不能同时支持所有三种模式），第二种情况代表了以下情况：主陷波器用于定向音频生成，次陷波器用于创建触觉反馈。
扩展数据图8d，e显示了我们围绕MATD量进行水平和垂直扫描的测试结果。结果显示了显示屏周围所有点的声音水平（非定向散射模式为74±12 dB，定向模式为72±13 dB）。

可以在MATD周围找到更高强度的点，这是相长干涉的结果。 在定向情况下，可以在预期的目标点周围观察到103 dB的高压水平，然后继续沿每个换能器阵列和焦点之间的方向向前传播。在所有情况下，同时包含触觉和音频信息 只会导致可听声音强度的小幅降低（非定向方法和定向方法分别为66±11 dB和63±12 dB）。

触觉产生和质量。 我们重新使用了经过校准的麦克风，从而在传递触感时重用了方法部分“支持的音频模式”中描述的测量设置，以扫描由MATD产生的声压级（SPL，以分贝为单位）（请参见图9a的扩展数据）。 将Brüel＆Kjær4138-A-015麦克风连接到PicoScope 4262示波器，并使用PicoScope SDK检索测量值。 我们在三种条件下，始终使用针对双陷阱模式描述的复用时间表，测量了系统在阵列中心的单个触觉点产生的SPL。

在第一种情况下，仅传递了触觉内容（即，阵列在分配给辅助陷阱的25％占空比期间创建了一个触觉点，而在剩余的75％的时间内阵列未产生任何输出） 。对于第二个和第三个条件，我们重复使用了补充视频2和扩展数据图9b第二部分中显示的内容，将扫描粒子（传递视觉内容的主要陷阱）放置在触觉点的前后5厘米处。第二种情况是将250 Hz信号用于边带调制，这表示仅存在视觉和触觉内容的情况。但是，第三个条件包括组合信号（即具有2 kHz信号的音频和250 Hz信号的组合），表示存在所有视觉，触觉和听觉内容的情况。
为了评估用户手部可能产生的影响（即通过遮盖换能器的一部分或通过散射），我们在有或没有硅胶手的情况下都测量了磁场（扩展数据图9c）。出现手时，在食指尖端底部的表面上产生了触觉点。在所有三个条件下（仅视觉，视觉和触觉以及多模式），扫描了10×10 cm2的水平面和垂直平面，以1 mm的分辨率测量了SPL水平。我们的结果显示在图9d，e的扩展数据中。必须注意，手的存在阻止了在整个平面上的测量（请参见图9e扩展数据中的白色区域），但是仍然可以到达指尖周围±3厘米以内的区域，覆盖了八次大于对焦点的宽度（直径约7毫米）。同样，考虑到我们的扫描麦克风的厚度（3.5毫米）和手表面的不规则性，我们无法精确测量手的表面，并且扩展数据图9e中显示的扫描是在平面Y上进行的−4毫米。

结果表明，在所有三种情况下，无论是否存在手，该设备都能在中心点（存在触觉反馈）周围提供准确的声压定位和聚焦。垂直扫描显示波瓣的重复模式，与从顶部和底部阵列发射的声辐射的干扰一致。由于主要陷阱（视觉内容）的影响，仅触觉条件（第一列）与其他两种情况之间会发现一些差异。但是，触觉点周围的影响很小，触觉点的清晰度得以保持，并且在这三种情况下几乎没有变化。在触觉点的中心找到最大压力水平（在图9d的扩展数据中为157.0 dB，158.6 dB和158.5 dB；在图9e的扩展数据中为154.7 dB，155.0 dB和154.6 dB），并且始终远高于可感知的触觉反馈需要78 dB的阈值27。必须注意的是，在第二和第三种情况下，图像左下方存在第二个高压区域是用于传递视觉内容的主要陷阱的结果。

资料可用性

正文和扩展数据图中提供了支持本文中的图解和本研究其他发现的数据。应合理要求，可从通讯作者处获得其他信息。

代码可用性

在https://github.com/RyujiHirayama/MATD上具有Creative Commons AttributionNoncommercial-ShareAlike许可的任何人都可以在GitHub上获得用于在测试期间控制我们的MATD的自定义C ++代码。

致谢我们感谢来自萨塞克斯大学的R. Morales Gonzalez和B. Danesh Kazemi，他们帮助构建了FPGA阵列，并感谢来自萨塞克斯大学的L. F. Veloso，他们为补充视频提供了帮助。 我们感谢EPSRC项目EP / N014197 / 1“用户与自支撑自由形式物理对象的交互”，欧盟FET-Open项目Levitate（授权协议号737087），皇家工程学院新兴技术计划（ CiET1718 / 14），卢瑟福研究金计划，日本援助科学促进会（编号18J01002）和高柳贤二基金会。

作者贡献D.M.P. S.S.构思了这个主意。 R.H.和D.M.P. 实施了该系统，并收集了证明该想法的实验数据。 数据分析由R.H.领导，所有作者均作了贡献。 D.M.P. 由R.H.和S.S. S.S. R.H.领导的优化设计R.H.由N.M. R.H.的贡献对固件代码进行了优化，并由所有作者共同撰写。

利益冲突作者声明没有利益冲突。

附加信息

有关本文的补充信息，请访问https://doi.org/10.1038/s41586-019-1739-5。
信件和材料要求应联系R.H.
同行评论信息Nature感谢Daniel Smalley和其他匿名评论者，
感谢他们对这项工作的同行评审的贡献。
转载和许可权信息可从http://www.nature.com/reprints获得。