普通耳机的多源感知功能（智能耳机）

原文来自 DeepTech深科技

范博士主页：https://ox5bc.github.io/

罗格斯大学的范博士开发出一项名为 HeadFi 的系统，可让普通耳机在播放音乐的同时，获得感知能力，并能让普通耳机实现生理感应、手势识别、身份验证、语音通话四大功能。HeadFi 是一种可耳听的感应平台，无需麦克风、也无需传感器即可实现智能应用。相关论文已被移动计算顶会 MobiCom 接受，范小然也将于今年 10 月在新奥尔良的线下会议实地展示该技术。

HeadFi 本质上是一个适配器模块，插上耳机后即可连接手机。 由两个无源电阻器和一个放大器组成，使用时无需对耳机做任何硬件修改。它能就地取材，依靠耳机内部的驱动器单元，来实现多功能传感作用。在耳机里，耳机单元可用于播放音乐，原理是把电信号转换为机械信号也就是声波。但是反过来看，从广义来讲，耳机单元也是一个传感器，可用来感知外界刺激如心跳、语音、触碰等，并能把外界刺激转换为电信号。基于该思路，为了让耳机既能感知、又能播放音乐，就要消除音频输入信号的强干扰。由于耳机本身播放的声音的信号强度，是耳机能感知到的信号（如心跳、触碰、语音等）的上百倍。因此，直接在耳机端口测量外界感知信号，会让系统在播放音乐时无法工作。

研究中，他使用惠斯通电桥来消除音频输入信号的强干扰。具体来说，通过耳机的插口，耳机左右的两个单元可连接到桥的两个臂上。一旦电桥平衡，电桥的输出电压就不再随着音频输入信号的变化而变化。与此同时，周围的刺激信号仍能被反应到电桥的输出电压上。这个设计巧妙之处在于，耳机厂商在生产耳机时，为保持声道平衡会让左右耳机单元实现电学匹配，而 HeadFi 系统使用这俩配对的耳机单元来代替电桥的两个电阻，这时使用惠斯通电桥，就可获得左右单元相减的一个差分信号。这正好消除了音频输入信号的强干扰，而耳机左右单元收到的外部刺激通常都不一样，相减之后外部刺激信号依然存在，并且能被感知到。

此外，由于 HeadFi 是一个外设插件，它能以非侵入方式让耳机和手机实现配对。该外设插件用两个 3.5 毫米立体声插孔连接耳机和智能手机，用户可以手动打开或关闭 HeadFi。

 

感知应用

生理感应：心率准确率最高达 99.2%

使用非智能耳机时，HeadFi 可让用户连续且准确地监测生理活动如心跳频率。测量心率变化的原理如下，把搭载 HeadFi 的耳机放在耳朵上，耳洞内立马形成封闭的空间，空间中部是耳道，两端分别是耳机驱动单元和耳膜。这种封闭空间对气压变化非常敏感，不管是用手触碰耳机外侧，还是耳朵内血管的跳动，都会引起 HeadFi 的电压变化。

 

图：耳机和耳道耦合原理示意图

同样，人体心跳等生理活动也会引起耳道血管的变形，进而给封闭空间带来压力，这时就能通过 HeadFi 去检测这种压力，进而得出心率。

研究中，他使用 54 对耳机评估心跳频率估计的准确性，并把耳机分为三类，即入耳式、头戴式和半入耳式。结果显示，头戴式耳机在所有三组耳机中都实现了一致的低错误率。其中，包耳式耳机的错误率最低，其次是半入耳式耳机。

概括来说，HeadFi 测试心率的最大错误率约为 3%，而商用心跳监测系统的最大错误率要求是小于 5%，这说明即使在存在音乐等强干扰信号，HeadFi 依然具备测量用户心跳频率的可行性。

 

图：耳机工作原理

相关实验涉及 53 名志愿者和 54 副耳机，耳机估计价格从 2.99 美元到 1.5 万美元不等。结果表明，HeadFi 对心率监测的准确率为 96.8%-99.2%。

手势识别：可定义四种触摸手势

HeadFi 还可将非智能耳机外壳、转换为虚拟触摸板，其基本原理是同样基于上文提到的特殊惠斯通电桥的输出电压的变化。

研究中，范小然定义了四种基于触摸的手势：轻触左侧外壳，可执行暂停或播放操作；轻触右侧外壳，可执行静音操作；在左侧外壳上滑动，可执行音量增大操作；在右侧外壳上滑动，可执行音量减小操作。

他邀请一位志愿者轻触一对耳机的左右外壳，并从 HeadFi 中录制信号强度。当耳机被敲击时，可观察到多个信号强度峰值。当志愿者轻触左侧外壳时，会出现一个负峰值，后跟一个正峰值；相反，当志愿者点击右外壳时，正峰值出现在负峰值之前。

期间，他们还使用 AKG K240s 耳机作为测试设备，在打开和关闭音频输入信号的情况下，分别重复每个手势 300 次。随后，收集的数据被送到笔记本电脑上进行分析。

分析显示，在安静和噪声条件下，四种手势的总体分类结果一致。在没有音频输入信号的情况下，HeadFi 依然可实现 99% 的分类准确率；在有音频输入信号的情况下，分类结果略微下降到 98% 左右。

身份验证：从海螺得到灵感

HeadFi 还可做身份验证，只要戴上耳机就会自动出发身份识别。但是在身份验证之前，系统需要识别耳机是否戴在了头上，他告诉 DeepTech，自己最初从海螺获取了灵感。

当把海螺扣在耳朵上，就会听到回声，这是因为周围噪声在海螺空腔内产生了共振、且音量被放大，因此海螺会发出海浪般的声音。

同样，耳机、耳道和耳膜也会形成共振腔并放大周围的噪声，这种放大的噪声，可让 HeadFi 测量到更高的电压信号输出。基于这一观察，他使用信号强度、及其标准差进行开关检测，当用户戴上耳机时，这两个值会急剧上升。确认用户已佩戴耳机之后，让插到 HeadFi 组件上的耳机发射扫频信号，这时 HeadFi 即可识别不同的用户，原理是每个人的耳道形状和大小都是独一无二的。

此外，每个人耳道的阻抗也不一样，同一个人的左右耳道的生理结构也不一样，所以 HeadFi 可通过感知左右耳的扫频信号的回音差值来识别用户。

图 | HeadFi 的相关信号（来源：受访者）

 

由于人脸识别会引起隐私问题，并且对拍照时的光照条件有一定要求，而 HeadFi 可以在不拍照的情况下识别用户，因此能更好保护地用户隐私。

研究中，范小然还演示了 HeadFi 的语音通话功能。语音通话功能是 HeadFi 系统最直接的应用。

他认为，能把普通耳机变成可以打电话的耳机，可能是本次研究中意义最重大的一个智能应用。期间，他客观测试了 54 对耳机的通话质量，并且邀请 26 位测试者进行主观打分实验。

实验结果表明，绝大部分耳机的通话质量都能令测试者满意，有的耳机甚至接近直接使用手机麦克风打电话的通话音质。

********************************************************************************************************************************************************************************

很喜欢这个研究成果，想法和设计都非常简单和巧妙，值得学习。