AdaFlow: Non-blocking Inference with Heterogeneous Multi-modal Mobile Sensor Data

请科研君帮帮引用，引用格式：

F. Wu, S. Liu, B. Guo, X. Li, Y. Gao and Z. Yu, “AdaFlow: Non-blocking Inference with Heterogeneous Multi-modal Mobile Sensor Data,” 2024 IEEE Coupling of Sensing & Computing in AIoT Systems (CSCAIoT), Hong Kong, Hong Kong, 2024, pp. 8-9, doi: 10.1109/CSCAIoT62585.2024.00006. keywords: {Deep learning;Accuracy;Multi-modal;Affinity Matrix;Non-blocking Data Flow},

[paper]

问题

概述

随着物联网设备的普及，多模态推理在众多领域取得了成功，并且相比单一模态通常表现出更高的准确性，如语音识别、自动驾驶汽车和医学图像分割等应用。多模态推理相较于单一模态具有以下优势：

1. 增强的环境感知能力
2. 物理特性的综合
3. 独立的交叉验证。

上述讨论的要点代表了隐式数据贡献的具体实例，与之相对应的是显式数据重要性估计，后者已有全面的现有研究。然而，在隐式数据贡献方面的研究较少，这是因为量化异构模态之间的这种隐式贡献具有挑战性，主要由于数据收集和任务特征的动态性。
高效的多模态推理依赖于精心构建的数据，然而多模态系统收集的数据仍然存在问题，原因主要有两个方面：

1. 一方面是异构移动传感器之间的数据到达率不一致，导致终端设备出现延迟。例如，由于带宽变化，视频流通常落后于音频流。现有的解决方案在平衡准确性和延迟方面存在困难：高精度方法会阻塞数据流，而其他方法则通过帧采样牺牲精度来换取速度。
2. 另一方面是数据大小的差异和移动传感器状态的波动，导致部分或损坏的数据接收。例如，Waymo的自动驾驶汽车整合了各种具有不同数据率和潜在损坏可能性的传感器。在处理数据损坏的同时平衡延迟和模态敏感性构成了挑战。一些方法为模态集预定义插值序列，但缺乏适应性。在医学图像分割等任务中，对缺失数据的敏感性比延迟问题更为重要。

挑战

本文介绍了AdaFlow，用于建立基于异构多模态移动传感器数据的非阻塞推理。在此过程中存在两个主要挑战：

• 在没有全局数据和资源限制的情况下，在移动端实时量化隐式数据贡献以重采样非冗余传感器数据是具有挑战性的。现有方法通常对隐式数据贡献的表示模糊不清或直接忽略它。
• 当分布式移动传感器数据由于异步和数据损坏而丢失时，如何实现非阻塞推理是一个挑战。现有方法很难在延迟和准确性之间取得平衡。

系统设计

为了确保多模态系统中的非阻塞数据流，同时应对挑战，AdaFlow的主要方法包括两个模块：

1. 隐式数据贡献感知数据重采样模块：它使用t分布随机邻域嵌入（t-SNE）来评估考虑延迟的模态亲和性，然后利用层次分析法（AHP）基于模态亲和性构建亲和性矩阵。
2. 基于决策图的非阻塞推理模块：它在分布式多模态协同感知框架内使用亲和性矩阵建立多模态映射机制。

图1.系统概述图

隐式数据贡献感知数据重采样模块

该模块专注于量化异构模态之间的隐式数据贡献。它采用t-SNE来评估模态之间的一致性和互补性，这对于理解它们的隐式数据贡献至关重要。与之前使用t-SNE以模糊方式表示相关性的方法不同，该系统利用t-SNE图中的平均余弦相似度来表示模态之间的一致性和互补性。这个想法不同于传统的线性降维技术，确保了高维信息的保留。

我们使用验证实验来证明这个想法，我们选择了两种不同的融合模型：基于特征拼接的模型和基于自注意力的模型。具体而言，我们使用来自USC公共数据集中14个受试者的多模态数据评估了这两个模型的性能。任务是使用加速度计（Acc）和陀螺仪（Gyro）数据对12种人类活动进行分类。

图2(a).基于特征提取的

图2(b).基于注意力机制的

图2(a)使用t-SNE图示了基于特征拼接模型的加速度计（Acc）和陀螺仪（Gyro）特征。不同的颜色表示各种活动，而不同的点形状代表模态。值得注意的是，来自两种模态的特征沿对角线排列得很好，几乎是对称的。此外，Acc和Gyro特征之间的平均余弦距离为0.7288，表明一致性很高。特征拼接增强了模型捕捉跨模态一致信息的能力，从而提高了对噪声多模态数据的鲁棒性。
图2(b)描绘了基于自注意力模型的特征，相比于基于特征拼接的模型，传感器数据之间的对齐程度较低。在自注意力模型中，Acc和Gyro特征之间的平均距离（0.7685）略高。这表明自注意力模型通过以不同权重组合特征，集成了来自不同模态的一致信息和互补信息。

在量化了模态之间的一致性和互补性后，我们现在为它们的亲和性分配数值表示。借鉴先前关于多模态系统的研究，模态互补信息被认为能提供额外的洞察。因此，在选择模型时，选择合适的值来准确反映模态之间的亲和性。然后，我们使用亲和性通过层次分析法（AHP）构建亲和性矩阵。之所以选择AHP，是因为这个问题类似于多模态系统中的图规划问题，需要比较t-SNE中模态之间的平均余弦值，这涉及多层次的比较和模态之间的权衡。

基于决策图的非阻塞推理模块

该模块旨在实现异构模态之间的自适应插值，以确保非阻塞数据流而不影响准确性。系统将问题定义如下：一组异构模态M = ($m_1$,$m_2$, …, $m_n$)，其中M有两个子集S和T，且M = S $\cap$ T。S代表源任务集，而T代表目标任务集。对于每个任务$s_i$ $\in$ S，$t_i$ $\in$ T，$a_i$表示从$s_i$到$t_i$的转换时间。

基于每一时刻数据流的到达状态和损坏情况，系统使用亲和性矩阵自适应地确定哪些任务被视为源任务S，哪些被视为目标任务T，以最小化插值时间$\sum a_i$。
此为基础设计更多设计请关注后续正式论文。