读论文，第七天：A wearable biosensing system with in-sensor adaptive machine learning for hand gesture

• 本文的方法是基于表面肌电图监测肌肉活动
• 基于柔性传感器

在此，我们报道了一种基于丝网印刷电极阵列和具有传感器内的适形电极阵列的可穿戴表面自适应学习能力。我们的系统实现了一个神经启发的超维计算算法，用于实时手势分类，以及在不同条件下的模型训练和更新，如不同的手臂位置和传感器更换。该系统可以对13个手势进行分类，每个手势进行一次测试，准确率为97.12%。在扩展到21个手势时，保持了较高的准确率（92.87%）

介绍

与将原始数据无线传输到外部计算设备相比，来自生物传感器的信号的本地（传感器内）处理具有优势，包括减少通信链路带宽和无线电功率需求。

使用表面肌电图(sEMG)19-24的手势识别可以受益于一种具有传感器内处理的混合系统。基于表面肌电信号的手势识别设备可以通过放置在皮肤表面的电极来测量肌肉电活动，并对从这些信号中提取的特征进行模式识别11,25。理想情况下，这些设备应该有一个小的独立的自主形式因素，高通道计数和高密度电极放置，以实现更全面的空间覆盖，提高分类精度26,27，以及可推广或适应各种磨损条件的传感器内智能。现有的设备要么是非可穿戴形式的因子26，依赖于外部设备进行计算28，要么依赖于少量精确定位的、笨重的电极12、29、30。此外，能够进行传感器内（在线）训练的系统不支持传感器内模型更新29,30。因此，这些系统不能适应信号变化，从出汗、疲劳、不同的肌肉收缩努力和电极位移，由于情境环境的变化，如肢体和身体位置或设备脱落和穿戴13-18。

在本文中，我们报道了一种可穿戴的高密度表面肌电信号生物传感系统(图1a)，该系统使用超维(HD)计算来实现传感器内的自适应学习和实时推理，用于手势分类。高清计算是一种新兴的计算范式，它支持快速和简单的学习，并且天生具有抗噪声和错误的鲁棒性31。HD计算利用由非常高维的向量（超向量）表示的信息来执行使用简单的计算操作等复杂的任务，如分类或推理31。这种方法已经在对于生理信号，如sEMG32、脑电图(EEG)33和皮质电图(ECoG)34，在离线数据集上可区分多达5个类别的分类任务中显示出了良好的结果。

为了构建我们的系统，我们使用了一种混合的方法来连接软保形传感器和硬硅基集成电路(ICs)。特别是，我们将打印在柔性基板上的传感电极阵列(图1b，c)与微型印刷电路板(PCB)相结合，该电路板包括复杂的传感、处理和遥测组件(图1d，e)。该大面积、高密度电极阵列有64个通道，是在薄的聚对苯二甲酸乙二醇酯(PET)片上使用导电和介电油墨丝网印刷制造的。PET片具有高度的灵活性，在收缩和松弛时很好地符合前臂肌肉复杂的三维(3D)形式。该系统使用低功耗定制特定应用专用集成电路(ASIC)收集表面肌电信号数据进行分类。定制设计的ASIC35可以记录和数字化来自靠近电极位置的多个通道的表面肌电信号，减少了对电极和信号调节电路之间体积庞大的电缆连接的需要。我们通过一系列的实时实验验证了我们的生物传感设备，这些实验模拟了来自真实世界用例的信号变化。当我们只使用每个手势4秒的训练数据窗口对13个手势进行分类时，我们获得的手势分类准确率为97.12%。我们证明了分类模型可以在局部更新，以分类更大的手势集，以及从由于参与者移动到一个新的手臂位置、更换设备或长期佩戴设备而导致的精度下降中恢复。

混合柔性生物传感器的设计与制造

为了创建柔性的皮肤磨损界面，我们使用导电银墨水(NovaCentrixFG57b)通过光子固化烧结了统一的4×16圆形电极(直径r，4.3mm)和连接痕迹(图1b，c)36。银墨水配方包括粘合剂，以帮助银微片的粘连以及粘附到基质。与文献28、32、37、38中报道的高密度电极阵列制造方法相比，我们的光子烧结丝印溶液允许使用温度敏感的衬底材料，只需要亚秒的固化时间就可以进行更便宜、更快的大规模生产。随后，将介电封装层(NovaCentrixDE-SP1)用通孔打印出来，以暴露电极垫，同时将导电痕迹与皮肤绝缘。每层印刷层为15µm厚。选择整体尺寸(29.3cm×8.2cm)来包裹高于平均大小的前臂的整个周长，捕捉在近端、远端和内外侧方向以低电极间间距参与手指运动的外部屈肌和伸肌的活动。每根柱4个电极间隔14.3mm，柱间隔17.8mm，垂直偏移量为7.15mm。
柔性电极阵列与一个定制的八层PCB(图1d，e)接口，使用一个平面柔性连接器(FFC)上的两层适配器板(图1c)。从电极阵列的所有64个通道在1ks−1下使用定制的神经接口IC35，以极低的功耗(700µW)进行数字化。表面肌电信号在一个芯片上的系统现场可编程门阵列(SoC FPGA)中进行处理，在那里我们实现了一个完整的训练和分类算法，使系统完全独立。该设备使用2.4 GHz无线电SoC无线连接到基站计算机，以进行重新配置和数据记录。该板采用一块3.7V、240毫安时的锂离子电池，重4克。可穿戴系统的总重量为26g，计算单元PCB重6g，电极阵列和适配器重16g。在这种配置中，连续手势识别的电池寿命为~6小时，功耗主要是原始数据分组和大于1Mbps的无线传输（补充图7）。

肌电图采集的体内特征

使用我们的设备，我们收集并分析了5个参与者在多个磨损条件下的离线表面肌电图数据集典型用例（图2和补充说明1）。数据集包括不同手指自由度的屈伸(DOF；图2a)，单自由度(单DOF)手势只在四种不同的情境下执行，多自由度(只在基线情境下执行多DOF)手势（补充说明1）。如图1a所示，每个参与者都佩戴了该装置，阵列的中心大致与他们的主臂的尺骨对齐（方法）。在每个电极上放置一滴导电凝胶，以改善皮肤的接触和粘附。以单端结构记录信号，以肘关节上的心电图Ag/AgCl电极作为参考。图2b显示了中指DOF屈伸过程中所有64个通道记录的波形。每个波形的每个50 ms段根据该段得到的平均绝对值(MAV)特征着色，表明表面肌电信号的局部振幅。在拮抗运动中，可以看到不同的通道亚群（覆盖前屈肌或后伸肌）的活动。
使用我们的可穿戴生物传感系统获得的信号质量与使用传统商业表面肌电图界面(NinaProDB4中使用的Cometa)39-41以及台式高密度表面肌电图采集装置(CapgMyo)42的相同手势记录进行了比较。为了比较记录的功率谱，我们计算了具有最高信噪比的信道的韦尔奇功率谱密度估计值中间伸长手势（手势4），在所有三个设备中产生最高信噪比的手势（图2c）。不同录音的频率内容在性质上相似的。通过比较一个手势表现时的功率谱与休息时的功率谱，计算出斑点的信噪比(图2d)。总体信噪比（以现场信噪比的积分计算）因不同的通道和不同的手势而变化（图2e）。Cometa和CapgMyo系统对最佳信道和相关的最佳手势表现出更好的峰值信噪比，这可能是因为这些系统由差分、双极记录配置和改进的共模噪声抑制组成。尽管如此，这三个系统的中值信噪比大致相同。此外，我们的系统的信噪比值在长时间佩戴2小时前后都是相似的，在此期间，参与者可以出汗，导电凝胶可以涂片（补充图2）。

基于自适应学习的手势识别算法

我们实现了一个高清计算算法31，用于训练和推断的手势。原始数据或预处理特性（连续值和低维）投射到1000d双极（{−1+1}1000，为了简单描述数学操作）或二进制（{0、1}1000，实现数字逻辑）超向量信息完全分布在所有位，类似于人类大脑利用巨大的神经元和突触电路学习和回忆。分类任务的学习可以使用低复杂度的元素多数函数实现，用于计算集群质心或原型超向量，每个都代表一个类。类似地，推理可以使用汉明距离实现为在学习到的类原型超向量内对给定的查询超向量的最近邻搜索。图3描述了将表面肌电信号数据投影到超向量中的算法。重要的是，相同的投影过程被用于学习和推理，允许重用硬件模块进行传感器内训练和分类43。信号在250 ms的滑动窗口中进行处理，重叠率为80%，导致延迟为250 ms，分类吞吐量为每秒20个预测，适用于实时控制44,45(图3a)。每个窗口被细分为5个50 ms的特征段，每个段计算每个通道的MAV特征。特征选择和超参数调优在补充说明2中有更详细的描述。对于每个段指数t，将特征向量ft投影到一个表示空间信息的超向量St中，即哪个电极通道具有较高的特征值(图3b，c)。电极通道由存储在项目存储器(IM)中的唯一的、伪随机的双极超向量表示，它在整个算法的训练和部署过程中保持不变。每个电极通道向量IM(ch)按其对应的特征值ftchI进行缩放，所有缩放的向量都按元素方向求和。由此得到的空间超向量形成为St¼σPchIMððÞf tchI，其中σ是一个双极阈值函数，使正元素为+1，负元素为−1(图3c)。

总结

我们已经报道了一个独立的，可穿戴的表面肌电图生物传感系统，该系统使用高清计算来处理和分类手势。我们系统的所有功能，包括使用打印的柔性电极接口进行数据采集，以及使用机器学习模型进行训练和分类，都被整合到一个不需要外部计算的紧凑设备中。我们的生物传感系统佩戴舒适，并提供快速的初始训练和动态适应，这对于可穿戴的人机界面应用至关重要，在这些应用中，生理信号因用户而异，而不是静止的。与其他最先进的手势识别系统相比，我们的设备可以在本地和实时地执行训练、推理和模型更新，以适应不断变化的情境环境。
我们的研究结果有望开发出具有完整的、传感器内的独立可穿戴设备的机器学习能力。这项工作的两个自然扩展是结合额外的情境上下文（如更大的手臂位置）和手势转换的结合，它们可以作为新的上下文，也可以作为单独的类。随着更多的信息被编码到手势原型超向量中，通过权衡内存占用来提高分类性能，并使用多个原型超向量来表示手势类，最终可能是有益的。最后，虽然我们的电极阵列几何形状是用于前臂表面肌电图采集，但低成本和低复杂度的丝网印刷工艺可以用来创建与人体其他部位接口的模式。这可以使更广泛的应用，需要低潜伏期，自适应处理的生理信号，如心电图或脑电图。

方法

• 灵活和刚性组件的混合接口。制作一个适配器PCB(一侧连接64位置FFC的图1c)(XF2W-6415-1AE，欧姆龙电子)，另一侧连接两个DF12连接器(图1c)，将柔性阵列轨迹与刚性ic连接，用于表面肌电信号的采集和处理。
• 刚性组件的PCB制造。一个定制的无线神经记录和处理模块(图1d，e)，能够记录和处理64个通道的电生理信号数据，以及无线将原始信号和分类手势返回基站，连接到柔性电极阵列。使用定制的神经调节IC35（科特拉神经技术），使用d.c.-coupled前端和1 kHz采样率，记录并数字化来自电极的表面肌电信号信号。使用SoC FPGA(SmartFusion2M2S060T)进行数据聚合和预处理以及HD模型训练、推断和更新。一个2.4 GHz的无线电(nRF51822，北欧半导体)流射出原始的表面肌电信号和分类标签和距离。这些组件使小形式因素和低功耗操作(~6h的分类使用标准240mAh3.7V锂离子电池)，同时消除需要庞大的个人电缆连接每个电极到神经前端，使设备舒适穿戴长时间提高信号质量。此外，还要将信号源旁边的信号进行数字化制作的八层PCB还包含一个六轴加速度计和陀螺仪(MPU-6050InvenSense)，512Mb低功率(MT4H32MT46M16LFBF-5，微光技术)和一个额外的64通道神经调制IC35(Cortera神经技术)的目的提供惯性传感器数据，更多的车载内存和扩展数量的表面肌电通道128，尽管他们在这项工作中没有使用。
• 图形用户界面。在基站上运行了一个用Python3.7开发的自定义GUI，用于接收和记录流式数据，配置表面肌电信号采集系统，并为参与者提供手势信息和时间。GUI使实验者能够选择手势子集，更新已保存的文件的元数据，并在每次录音会议之前更新手势计时。此外，它还为参与者提供了关于当前分类手势的视觉反馈。
• 阵列应用程序。在将阵列包裹在参与者的前臂上之前，分别应用一小滴导电水凝胶（帕凝胶电极凝胶），以改善皮肤-电极界面阻抗。该阵列被放置在一个电极朝上的平面上，参与者被要求大致将该阵列的中心与他们的惯用手的尺骨对齐。当参与者保持休息时，阵列的末端被包裹在前臂的两侧，末端用胶带连接在一起。将一个商用的Ag/AgCl电极(H124SG，CovidienKendall)连接在参与者的肘部上，作为电压测量的参考电位(图1a)。
• 手势识别实验。参与者被要求执行总共21个不同的手势包括休息/放松位置和两个手指运动和位置：（1）single-DOF灵活性和扩展的手指和（2）multi-DOF手姿势涉及多个手指（图2）。每个参与者总共进行了四个实验，每个实验重复三次。实验1设计了一个分别测试单DOF和多DOF手势子集的基线精度，并通过在现有的单DOF训练模型中添加多DOF手势来测试一个包含所有21个手势的更新模型。实验2然后引入了单DOF手势的手臂位置上下文变化。参与者用手肘放在扶手上进行每个动作。在实验3中，模型首先在第1天进行训练和测试，然后在手臂上的第1天大致相同的位置在第2天重新进行更新。这引入了一个新的磨损会话上下文变化。在实验4中，参与者在最初的训练和随后的训练之间有2小时的休息时间
• 数据分割。本研究仅使用4s稳态保持期的数据进行分类。在训练和测试过程中，我们为每250 ms的数据片段生成一个时空向量，滑动50 ms的MAV特征窗口(200 ms的重叠)。因此，在一个4s的手势试验中，76个不同的向量被编码，以便在AM中积累或进行76个不同的推断。分类精度计算为与标记手势匹配的推理结果的百分比，没有任何后处理或投票。命令被发送到设备，将其置于训练、推理或更新模式，与实验和指令同步。
• 算法实现。传感器内算法在VerilogHDL中实现，并使用LiberoSoC设计软件(MicrosemiCorp.)进行合成。FPGA资源利用率和算法延迟分别见补充说明3和4。每个分类的算法能量是根据补充说明5(测量的安捷伦B2902A精度源/测量单位在20μs间隔)和周期计数（补充说明4）计算的。