声波录音软件_谁说偷窥一定要趴墙头?这个系统可用声波「看见」墙后物体

机器之心报道

参与:路、张倩

传统的非视距成像方法多是利用光波进行图像重建,最近斯坦福和英特尔实验室的研究者提出一种新方法,用声波的方式进行穿墙探测,并进行图像重建。该研究表示,声学方法可以「看到」墙那面的多个事物,且允许的距离范围较大,同时成本较低、时间较短。相关研究已被 CVPR 2019 接收。

c4f8c7a3d1dba4853ec3174a01382edd.png

我站在墙前,想看到拐角处我视线范围之外的事物,除了伸长脖子或者走过去,还有别的方法吗?

非视距成像(Non-line-of-sight (NLOS) imaging)技术利用角落或障碍物周围墙壁反射的光波,重建出图像,从而看到视线之外的事物。但这种光学方法中用到的硬件非常昂贵,且对距离的要求较高。

那么,如果不使用光波,转而使用声波呢?

来自斯坦福大学与英特尔实验室的研究人员想要试试看,他们构建了一个硬件原型 :一个装有现成麦克风和小型汽车扬声器的垂直杆,参见下图:

13cba87ac806b96bbcaa8cd33c8f0723.png

原型系统图。该原型包括一个垂直安装在 1 米平移台上的 16 个扬声器和麦克风线性阵列。功率放大器和一组音频接口驱动扬声器并从麦克风录音。

在实际操作中,扬声器会发出一串啾啾声,声音以一定角度弹到附近的墙壁上,然后撞到另一面墙上的隐藏物体:一张字母 H 形状的海报板。然后,科学家们一点一点地移动设备,每次都发出更多的声音,最后声音以同样的方式反弹回麦克风。

34a1d57fac05b9764cf74fd9ba5316ba.gif

2D 声学 NLOS 扫描系统的可视化。

接下来,研究人员使用地震成像的算法,对字母 H 的外观进行粗糙重建。

3891940baba513abc600b762284711c8.gif

地震学中有类似的问题,利用冲击波进行探测并重建地下结构的图像。

该研究对字母 H 的重建结果如下图所示:

2d121fbf8da7b975a0e0095bc10e59a1.gif

上图只是一个「隐藏物体」的图像重建结果,那么如果有多个隐藏物体,系统也能够很好地执行图像重建吗?

答案是:YES!

下图展示了该系统对 4 个隐藏物体的图像重建结果:

9ca5d77a1187a5867c75b684a8a1a33e.gif

从这些实验结果上来看,利用声音信号进行 NLOS 成像是可行的。那么,它的效果能不能比得上基于光波的 NLOS 成像方法呢?

研究者也进行了对比。如下图所示,给出两个字母 L 和 T,光学方法需要使用的设备比较昂贵,且只能生成 T 的图像,对于距离较远的字母 L 则没有成功重建图像,此外,该方法需要花费的时间较长,超过一小时。

相比之外,该研究所提出的声学方法能够重建出两个字母的图像,且时间较短,只用了四分半钟!距离也比光学方法高出 2 倍。

07e5a3f3a36b341c07382073069bc4a5.gif

这项技术距离应用还需要数年的时间,但作者表示,该技术的超声波版本最终可能会应用于自动驾驶汽车上,用来探测看不见的障碍物。或者,你可以用它来监视隔板另一边的同事(可怕!

原理介绍

研究者参数化了声学波场,使得发射扬声器和接收麦克风位于 {(x, y, z)∈R×R×R | z = 0} 平面上。该波场是 τ (x_t, y_t, x_r, y_r, t) 的 5D 函数,其中,x_t、y_t 表示扬声器的空间位置,x_r、y_r 表示麦克风位置,t 表示时间(见图 1 和图 2)。

b0f9b219261493758a3e6344b12002f9.png

图 1. 该研究提出的声学 NLOS 成像方法概览图。调制声波从扬声器发出,穿过墙角到达隐藏物体,在反射回来时由一个麦克风记录下来。处理后的测量值(左下)包含峰值,表示声音从扬声器直接传播到麦克风的路径长度(A,峰值被剪切)、传播到墙并回返的路径长度(B),以及到隐藏物体并回返的路径长度(C)。从一系列扬声器和麦克风的位置捕捉这些测量值,用于重建隐藏物体的 3D 几何形状(右下)。

0fccb85497305c3e7c26cc038ac1bab8.png

图 2:场景几何和测量值捕获示意图。声阵列发出声信号,该声信号通过墙壁反射到隐藏物体,然后反射回来。由于墙壁在声波波长上的镜面散射,测量数据似乎是从位于墙壁后面的镜像体中捕获的,就好像墙壁是透明的一样。发射信号的频率随时间而线性变化。对于单个反射器来说,返回信号是延迟版的发射信号(右上角)。接收和发射信号混合在一起并进行傅里叶变换,在与反射器距离成正比的频率上产生一个波峰(右下角)。

图 1 和图 2 进一步显示了测量值的几何结构。在声学波长上,墙充当一个类似镜面的反射器,将发射信号 g 散射到拐角,到达隐藏物体,然后返回到声波阵列。

由于墙的镜面散射,在测量中,隐藏物体似乎位于墙外的一个位置。因此研究者选择忽略墙,以使图像重建步骤建模从位于透明墙后面的虚拟对象捕获的测量值。对于同样具有镜面散射的光滑隐藏物体,研究者假设虚拟物体的表面法线指向声阵,这样就可以观测到信号。这一假设也被提出,例如,雷达系统通过墙壁成像并捕获镜面散射 [1, 3, 42]。

如何利用声音

声波散射

下图 3 概述了声波散射双向反射分布函数(BRDF):

e0eae8027df4d1c1cb2b8ffd8ef41814.png

图 3:声波散射 BRDF 示意图。在大于波长的平坦表面上进行镜面散射(中左)。在等于波长的墙角几何结构上进行逆反射散射(retroreflective scattering,中右)。对于小于波长的表面,物体周围的衍射会导致漫散射(右)。

信号随距离的衰减

对比光学 NLOS 成像中常见的漫反射,声学信号衰减与 1/(r_t+r_r)^2 成正比,而光学信号衰减与

2549b3c4d232a5e8c2e8d65eefd57a78.png

成正比。研究者在图 4 中通过实验验证了这种衰减。

2fd442e164384e103be8bd16c354e068.png

图 4:信号衰减(左)和分辨率分析(右)。研究者利用 log-log 尺度上的线性回归,绘制了角反射器和平面镜面散射目标的测量值。角反射器的信号衰减约为 d^ −1.92,而平面目标的信号衰减约为 d^−1.89,与预期的 d^−2 衰减基本吻合。图中还展示了漫反射光学 NLOS 成像的 d^−4 衰减。与典型的光学方法相比,该研究给出了一系列声信号带宽范围下不同距离对应的横向分辨率(lateral resolution)。

传输信号

下图 2 描述了信号传输的过程。

5dd774b044186ee25aa1ea2b6738bd4f.png

如何生成图像

当信号发射位置和接收位置相同时,即 x_t = x_r,y_t = y_r,研究者使用闭合解(closed-form solution)进行图像重建。也就是光学 NLOS 成像方法中所说的「共焦」扫描。研究者对空间位置接近的扬声器和麦克风进行声学共焦测量。

共焦测量能够对隐藏物体的 3D 几何形状进行高效的重建,但是在更常见的非共焦测量情况下如何进行高效重建呢?

研究者首先调整非共焦测量,使其模拟共焦采样网格捕捉到的共焦测量。然后再执行常规的地震成像步骤,即动校正(NMO, normal moveout correction)和倾角时差校正

878d2c9be36f58d1619993b23d25c793.png

图 5:动校正和倾角时差校正图示。

下图 6 展示了如何通过非共焦测量,来改善信号质量、提升空间采样。

9cc06545e485ec564313b50767755786.png

图 6:在有两个隐藏物体时,图像重建的流程。

实现

除了本文开头所提原型系统所需的硬件设施之外,在软件方面,该系统中所有步骤都使用 Python 实现。目前,该研究已经开源,包含研究所用数据集和软件。

GitHub 地址:https://github.com/computational-imaging/AcousticNLOS

关于该研究更多内容,参见以下视频:

参考链接:

https://www.sciencemag.org/news/2019/06/scientists-use-sound-see-around-corners

http://www.computationalimaging.org/publications/acoustic-non-line-of-sight-imaging/

http://www.computationalimaging.org/wp-content/uploads/2019/03/cvpr_2019_2059.pdf

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

打赏
文章很值,打赏犒劳作者一下
表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页

打赏

13329695566

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者