Multi-source heterogeneous data fusion method and its application in object positioning and tracking

地址：https://www.webofscience.com/wos/alldb/full-record/CSCD:4983265

Abstract： 针对物联网海量多源异构数据，, 提出一种多层次的多源异构数据融合方法, 同时分析无线信号、视频和深度感知数据的目标定位跟踪应用, 着重研究多源异构数据的处理、特征表示和数据融合方法。

Motivation：物联网感知数据来源于多个分布式的网络感知节点，不稳定的网络传输和节点的不 同步往往会造成感知信息的缺失和断续, 以及信息的时空关系不一致等问题。需要研究有效的数据清洗、数据融合、数据压缩等数据处理方法, 将多源异构感知信息整合为物联网应用所需要的确定性信息。此外，还需要通过挖掘数据内在的关联性,从原始数据和数据特征等多个层次对数据进行综合处理, 获得应用需求的有价值信息。

Knowledge：数据融合可分为数据层融合、特征层 融合和决策层融合。数据层融合通常采用概率统计方法、回归分析和卡尔曼滤波等方法, 消除冗余信 息, 去除噪声和异常值。在特征层或决策层采用D-S 证据理论、模糊逻辑、神经网络及语义融合等方法, 对来自多源异质网络节点的多类型不确定性数据进行融合, 可以实现事 件检测、状态评估、语义分析等高层的决策和判别。

Main contributions：这篇文章针对复杂场景下实时精确的多目标定位与跟踪问题，利用无线、视频和深度信息, 挖掘传感器之间的互补性, 提出多源异构信息的有效融合方法。首先对获取的无线、视频和深度感知数据进行单源数据处理，然后面向数据融合进行多源异构数据的时空对齐，并通过实际场景的实验, 验证该方法的有效性。下图为多源异构数据融合的研究方案：

 Algorithm：首先，对多源异构数据分别进行处理，获得便于融合的数据表示形式。文章采用基于低秩矩阵重构的无线指纹库构建和无线定位方法来处理无线数据，降低无线指纹数据采样的工作量, 获得较高精度的定位结果。再利用基于视频图像邻域信息匹配 的深度图像快速恢复方法来对深度数据进行相应处理, 修复缺失值, 以便于利用深度数据进行定位和目标跟踪。对于视频数据, 本文采用实时性非常好的基于压缩感知理论的压缩跟踪算法来实现目标跟踪。在融合之前对于视频、深度、无线数据, 需要利用时空上下文信息进行多源异构数据的协同关键帧分析方法, 找出具有区分能力的关键帧数据, 便于下一步的数据对齐和数据融合。

最后就是数据的融合，分为无线定位与视频跟踪的融合, 视频与深度的融合, 以及无线、视频和深度多源异构数据融合。

• 无线定位与视频跟踪的融合

无线定位和视频跟踪融合的跟踪方法, 通过无线的连续定位发现视频跟踪中目标丢失和误跟的事件, 并及时给出视频重新跟踪的起始点, 实现连续跟踪。

• 视频与深度的融合

深度感知器可以同时获得包含视频和深度信息的 RGB-D 序列数据，基于粒子滤波的融合视频和深度信息的目标跟踪方法, 可以提升 RGB-D 序列定位跟踪的准确性。通过粒子集合匹配可能的目标位置, 并采用顺序重要性采样更新粒子, 实现目标的连续动态跟踪。

• 基于无线定位、多视视频和深度定位的决策级融合

基于无线定位、多视视频和深度定位的决策级融合实际上是在三维空间的一个候选邻域内决策和选择一个最优点, 使得该点投影到各个数据源或部分融合定位空间的投影点与该空间的定位点的总体 误差最小。 

 具体的，数据表达层通过各种感知设备获取目标的不同模态的观测信息；特征表达层对目标的位置属性、时空对齐属性、表观属性和关联属性的特征描述；语义表达层通过观测目标特征信息组合和抽象, 实现对时空数据的更高层次的表示, 获得语义关联信息，即目标的位置和外观的语义信息；应用表达层通过从底层数据、特征到高层语义的多层次数据流表示, 为不同的后续应用, 例如行为分析、状态评估和事件检查等提供适配的表达. 时空数据流表达模型形式化地描述了多源异构观测信息, 可用于多种不同类型数据的表达, 同时多层次的表示形式有利于不同节点的信息交互, 并且可以满足多样化的应用需求。