6.23 (2024)一种基于wifi的室内定位用于物联网环境下的可解释混合深度学习架构

文献来源：

Turgut Z, Kakisim A G. An explainable hybrid deep learning architecture for WiFi-based indoor localization in Internet of Things environment[J]. Future Generation Computer Systems, 2024, 151: 196-213.

室内定位服务是物联网生态系统中必不可少的服务之一。指纹识别是一种基于WiFi接入点接收信号强度指标(Received signal Strength Indicator, RSSI)值与信号映射的方法，近年来受到了很多研究者的关注。然而，由于RSSI随时间的变化、设备的多样性以及室内网络中指纹的相似性等一些困难，指纹识别方法尤其具有挑战性。出于这个原因，机器学习和深度学习方法被用于许多目的，例如估计建筑物、楼层或房间的位置。检测一个房间或一个房间内多个参考点的位置变得更加困难，因为相邻参考点的指纹彼此非常相似。本研究提出了一种基于wifi的xai深度学习架构，用于预测房间或走廊中的参考点。我们提出了一种基于深度学习的混合方法，该方法使用长短期记忆来捕获信号特征之间的长期依赖关系，并使用卷积神经网络来提取局部空间信号模式。我们的深度学习旨在丰富每个样本的指纹数据，从不同角度捕捉更有意义的特征图。此外，该方法利用粒子滤波和稀疏自编码器对数据进行有效滤波和维度缩放来调节RSS值，并捕获更多的判别模式。为了提供室内定位估计的局部和全局解释，提出的架构包括两种可解释的人工智能技术，即可解释的模型不可知论解释和SHapley加性解释。实验结果表明，该架构在所有数据集上都比基线深度学习方法获得更高的精度值。

1、Introduction

物联网(IoT)是一个流行的通信概念，它进入了我们的生活，承诺所有物体都可以相互通信。自1999年首次提及凯文·阿什顿以来，它迅速实现了自己的承诺。从物流设施到智能家居设计，从博物馆参观到医院管理，我们在许多地方都能遇到物联网生态系统，它已经从一种让生活更轻松的网络技术迅速发展成为不可或缺的基础设施。物联网是我们的助手的关键基础设施，他们可以告诉我们的手机我们丢失的车钥匙的位置，提醒我们放在冰箱里的产品的有效期，将从我们的起搏器和手机接收到的数据传输给我们的医生，并将他们的服务限制在我们的梦想和需求上。物联网生态系统所能提供的内容与其所包含的服务直接相关。因此，在物联网环境中需要使用许多不同的服务，其动态结构可以在生态系统中随时改变。内容管理服务、移动管理服务、数据管理服务、可靠性服务、能源管理服务、定位服务等服务提供的环境，将“智慧”带入每一个环境。

智能建筑、智能医院、智能学校、智能家居设计，以及包括室内区域在内的各个领域，都需要一个室内定位系统。室内定位系统将能够跟踪智能家居中患者和需要帮助的人的位置，显示游客在智能博物馆中想要看到的艺术品的最短路线，确定智能工厂中所需产品的位置，并可能在智能医院中由智能机器人带来，将能够启动必要的过程来销毁过期产品。由于无法使用GPS信号(在室外区域提供精确的解决方案)，以及室内区域的特点(包括不同的方法)，创建室内定位系统尤其具有挑战性。

在任何室内位置的定位方法一般分为确定性和概率方法[3-5]。确定性方法有不同的方法，如三边测量、三角测量、接近和航位推算等。至少三个设备必须位于一个封闭的空间中，才能成功地使用诸如三边测量(基于使用三个设备的信号时间戳的原则)和三角测量(基于使用来自三个设备的信号值的到达角的原则)等技术。它可能需要额外的硬件成本，同时，这些技术的性能直接受到信号效果的影响。航位推算是基于从最后一个已知点估计用户位置的方法，在可能出现偏差的情况下，预测位置的误差随着每一步的增加而增加。邻近需要参考设备的存在，因为它的工作原理是找到邻近现有的信令设备。指纹识别方法是概率方法中的一种，它是一种基于提取待确定位置区域的信号图[6]，分为在线和离线两个阶段的方法。在脱机阶段，通过收集待定位区域的信号值来创建信号图。通常将采集信号值的区域划分为网格，从网格的中间、侧面或中间和侧面同时采集信号样本。可以在室内找到的技术，如WiFi和低功耗蓝牙，可以用来创建信号地图。特别是，由于几乎每个建筑物都有WiFi接入点，因此WiFi技术经常用于基于指纹的研究。无论采用何种技术，信号采集设备的畸变、散射、多径效应、内部噪声等影响都可能导致无法获得原始信号值[7]。因此，创建离线阶段不受影响的信号图谱是基于指纹的研究的第一个难点。在线阶段基于将从移动用户的移动设备获得的信号值与在离线阶段创建的信号图进行比较而进行定位。

传统上，基于RSSI指纹的方法的主要思想是首先创建RSSI指纹数据库，使用一般的机器学习方法实现学习阶段，然后通过匹配用户报告的指纹来分配位置估计。在这个阶段，一些研究将问题转化为一个估计三维位置坐标(包括经度、纬度和海拔)的回归问题，一些研究将问题转化为一个分类问题，将每个参考点定义为学习模型[8]的一个类。这些方法有些侧重于估算建筑物的位置，有些同时考虑建筑物和楼层的位置，有些更详细地考虑房间的位置。考虑到楼层上房间和走廊之间的相近性，由于相邻参考点的RSSI信号非常相似，估计房间位置的问题非常困难。虽然基于回归的方法提供了一种更广义的方法(仅)，由于在学习阶段仅估计三维位置坐标，因此不考虑楼层或建筑物的数量，但文献中观察到，当将室内位置估计问题视为一般的分类问题时，可以获得更有效的结果[9-12]。特别是，如果要将智能室内定位系统用于具有已知层数的单个智能建筑物(例如，由单个建筑物或公司组成的购物中心)，或者建筑物中只有单个单元(智能家居)，则可以将问题设计为分类问题。

基于指纹的定位存在一些挑战。在指纹识别阶段，由于非视距传播或环境动态，RSSI值随时间波动，并且RSSI方差可能随时间变化。由于不同的设备可能具有不同的技术设计，因此它们可能具有不同的传播功率。因此，RSS读数可能彼此不同。在室内环境中，墙壁、家具、生物等都会大大降低WiFi信号。期望在某些点具有判别性的信号强度可能无法在期望的水平上获得。此外，在同一房间或同一走廊的不同参考点经常观察到相似的RSS值。因此，相邻参考点的指纹难以区分。为了解决这些困难，最近一些研究人员专注于使用基于深度学习的方法来估计室内位置[9,14]，这些方法应用深度特征工程通过将数据映射到潜在空间来捕获最相关和最有意义的模式。这些模型旨在学习低水平的潜在表征，包括局部判别信号模式以及信号样本时间步长之间的长期相关性。为了提高深度学习模型的性能，许多方法利用特征提取过程作为数据归一化或过滤。研究表明，滤波和归一化步骤有效地获得了更高的精度[15,16]。此外，为了揭示更有意义的模式，许多现有模型[10,17]在深度学习架构(如卷积神经网络(CNN)[18,19]和长短期记忆网络(LSTM)[20])之前的一层使用了自编码器。虽然这些深度学习方法的使用并不新鲜，但与基本的深度学习架构相比，开发能够在估计室内位置方面达到更高精度的新架构仍然是一个悬而未决的问题。

在这项研究中，我们提出了一种新的基于XAI的混合深度架构，用于基于WiFi指纹的基于WiFi的室内定位系统。我们的模型将指纹识别确定的每个网格定义为一个单独的类，并将室内定位问题转换为定位分类问题。我们的模型能够独立于楼层预测参考点的位置。该方法并行运行所提出的系统以确定楼层数。它将指定的参考点和楼层号返回给用户。该模型同时使用两个不同的主要层，长短期记忆层(LSTM)用于捕获信号特征之间的长期依赖关系，卷积层用于提取局部空间信号模式。对于具有不同表达能力的不同深度学习层，CNN和LSTM对同一数据集产生了不同的隐藏表示。采用深度特征融合方法，将得到的不同特征映射进行组合和丰富。为了从丰富的特征映射中捕获更有意义和独特的低维表示，该方法应用了第二卷积层和池化层。该方法使用粒子滤波和稀疏自编码器(SAE)实现主要特征提取阶段，以消除数据中的潜在噪声，揭示样本的判别表示和维度缩放。为了解释和解释由我们的深度学习模型生成的室内位置预测，两种不同的XAI方法:可解释模型不可知论解释(Interpretable Model-Agnostic Explanations,LIME)和SHapley加性解释(SHapley Additive exPlanations,SHAP)被集成到拟议的架构中。通过实现LIME，我们的系统旨在提供有关新传入数据分配位置的详细信息，预测概率的分布以及属于在此估计中起作用的WiFi信号的特征分布。SHAP模型被用来提供关于特征分布的全局解释，我们的深度学习模型主要用于确定参考点。本工作的主要贡献如下:

•提出的模型使用一种新的混合深度特征融合模型，该模型在同一数据上同时实现CNN和LSTM，以获得数据的不同表示，并使用最终的卷积和池化层来捕获WiFi数据的独特低维表示。该模型利用LSTM揭示了信号属性之间的长期依赖关系，同时利用CNN捕获了局部的独特模式。它提供了来自两个不同角度的特征映射的数据丰富，从而使我们能够通过同时进行深度特征工程来揭示更多独特的模式。因此，对于同一房间或同一走廊内RSSI值相近的参考点，该模型获得了捕捉WiFi信号低变化的能力。

•我们的深度架构在深度特征融合学习模型之前实现了一个稀疏自编码器。通过应用瓶颈，SAE的目标是专注于提取原始输入的压缩信息表示，并消除数据中潜在的噪声、冗余和不相关的特征。在本研究中，SAE除了具有捕获数据中更有意义和独特部分的优势外，还用于在特征空间中进行尺寸扩展和缩小。深度学习架构可能无法在具有有限数量接入点(ap)的室内环境中成功工作，例如，在只有5个ap的室内环境中，这意味着有限长度的向量表示，例如考虑卷积操作。另一方面，在ap数量较多的室内进行位置检测需要较高的计算成本。在该模型中，通过使用SAE瓶颈层的特征表示，对于ap数量相对较少的室内区域，特征空间被扩展，而对于ap数量较多的室内区域，特征空间被降维。

•我们的方法利用粒子滤波器对WiFi信号进行有效的滤波相位，调节随时间波动的RSSI值，由于不同的技术设计，无法以相同的传播功率获得RSSI值，并且由于室内环境中的障碍物，获得的RSSI值比预期的频率低得多。

•我们将两种不同的可解释人工智能模型集成到我们的深度学习模型中，以提供训练模型的局部/全局解释，并生成预测和解释模型的输出。因此，我们的模型可以用来确定在每个网格上哪个接入点更有效。这就解释了该模型是如何正确预测具有非常相似指纹的网格的。因为它表示了模型为每个网格学习的属性(接入点)和属性的参考值。在这种情况下，它也使我们更容易分析哪些情况是有效的错误定位一个新的样本。（可解释性是深度学习的一个重要问题。）

•我们使用三种不同的基于wifi的室内数据集，对室内位置估计中使用的不同深度学习架构进行了全面的实验分析。我们证明，我们的模型对于接入点设备数量大于网格数量的环境以及网格数量大于接入点设备数量的区域有效地工作。

本文的其余部分组织如下。相关工作将在第2节中介绍。在第3节中，提出了基于xai的深度学习系统。第4节给出了实验设置和实验结果。最后，在第5节中讨论了结论。

2.相关的工作

文献中提出了许多基于不同方法的室内位置检测方法[2,36]。在相关研究中，除了使用图像之外，还使用了不同类型的信号。地球磁场值、蓝牙、射频识别和红外信号是用于此目的的一些信号。然而，WiFi是提供无所不在的室内定位系统的关键技术，其附加硬件成本较低。与使用电磁信号相比，图像数据的采集和处理需要使用具有高处理能力和存储容量的设备。地球磁场信号在近场中产生非常相似的值，并受到硬铁效应[37]的影响。当收集地球磁场值时，由于环境中存在铜、镍和钴等物质，可能会遇到与原始信号值有很大差异的结果。RFID和红外等技术的信号覆盖范围较低，需要使用许多硬件。另一方面，WiFi技术降低了硬件成本。WiFi接入点几乎在每一栋建筑的互联网基础设施中使用。因此，WiFi信号经常被用作室内定位方法的主要技术。

室内定位是一个被广泛接受的研究课题，有许多子问题。文献研究见表1。通过对室内定位研究文献的梳理，发现室内定位子问题的解决方法多种多样。这些研究包括在确定性和概率方法之间进行选择[21]，应对动态环境中硬件基础设施变化所带来的困难[22]，由于信号采集中出现的失真而提供数据增强技术[23]，依靠AP选择来克服信号失真[24]，使用WiFi以外的技术[26,30]，以及为现有的机器学习，人工神经网络，以及统计技术[27,28,31]。本研究提出了一种基于WiFi技术指纹识别的混合深度学习架构。因此，表1也给出了基于WiFi技术指纹识别的深度学习研究[10,14,17 - 20,35]。

Orujov等人[21]开发了一种基于低功耗蓝牙(Bluetooth Low Energy, BLE)的室内定位方法。该方法基于邻近定位、质心定位、加权质心定位、基于RSSI的加权补偿加权质心定位、指纹识别和三边定位技术来确定位置。在考虑房间宽度和信号强度等因素的情况下，基于模糊逻辑的选择决定在任何给定区域使用哪种技术来确定位置。最高的准确性是通过指纹识别实现的。将KNN和NN作为分类器用于基于指纹的定位。

Li 等人[22]提出了一种基于指纹的定位方法，适用于硬件基础设施可能发生变化的环境。他们提出了一项研究，可以在具有动态硬件基础设施的地区工作。他们建议使用长短期室内定位(LSTP)作为解决方案，既可以解决异构特征空间的工作挑战，也可以同时处理不同时间尺度的连续环境动态问题。

Sulaiman等人[23]在基于指纹的研究中关注了在创建信号图时遇到的挑战。为了克服离线扫描期间处理信号读数的困难，他们使用双谐波样条插值扩展了信号映射。在研究的在线阶段，作者使用了前馈反向传播(FFBP)神经网络和广义回归神经网络(GRNN)来进行位置跟踪。他们用半插值数据集训练他们的模型，其中所需的输出由参考点的(X, Y)坐标决定。他们使用两种类型的数据作为输入：第一种是从17个接入点(ap)收集的RSSI值，其中三个支持2.4 GHz和5 GHz频段，第二种输入由一组特定的ap组成，这些ap产生可接受的RSSI水平及其各自的坐标。

Chen等人[24]提出了一种新的算法，称为受限加权k近邻(RWKNN)，用于使用指纹技术确定移动用户的位置。他们的目标是通过修改传统的加权k近邻算法来克服RSS不稳定性和空间模糊性的挑战。该算法考虑了室内移动约束，并利用矩形搜索和轨迹限制来降低空间不确定性。此外，引入置信水平来减轻RSS不稳定性对基于迭代的方法的影响。

Kumar and Rajawat [26]提出了一种利用从GSM和WiFi接入点获得的信号的定位算法。改进了用于学习字典的算法，以防止相邻区域之间的相似性，并为稀疏系数分配适当的权重。此外，他们还结合了一种基于隐马尔可夫模型的跟踪算法，该算法考虑了最近的历史来估计用户的位置。为了测试他们提出的方法，他们使用了四张包含不同形状网格的地图。他们测试了各种各样的场景，平均误差减少了50%。

Guo等人[27]在他们的研究中重点关注了群体指纹。他们提出了一种名为粘液的融合算法，该算法结合了多个分类器和样本来提高定位精度。此外，他们在他们的方法中引入了窗口和滑动技术，称为SWIM，以提高定位的效率。他们最小化了多个分类器或多个样本的熵，以获得对用户位置的更精确估计。

Li et al.[28]提出了一种名为TILoc的新方法，在避免无线网络中RSSI信号影响的同时，实现了有效的位置确定。在这种方法中，他们过滤掉了不稳定的接入点(ap)，并使用了在线RSSI指纹。利用部分鲁棒ap构造RP环面，并将RP环面交点处的RP作为最近的RP。他们使用鲁棒主成分分析(robust principal component analysis，RPCA)来训练离线和在线指纹，以减少稀疏尖峰噪声。此外，他们在定位移动目标时考虑了AP的影响。在定位步骤中，他们采用目标估计加权最近邻策略(TWKNN)，为目标估计分配AP权重。

Huo等人[30]提出了一种基于IEEE802.15.4 (FILS15.4)的指纹室内定位系统参数优化技术，以保证指纹的正确识别。他们的方法包括修改指纹值的迭代过程，以提高系统基于新定义的分数函数的房间检测精度。此外，如果准确性低于一定水平，特定房间的指纹数量会自动增加。

Xue et al.[31]在研究中引入了一种新的方法，称为高适应性室内定位(high adaptability indoor localization,HAIL)，该方法结合了相对RSS值和绝对RSS值的优点，提高了系统的鲁棒性和准确性。他们在HAIL方法中使用反向传播神经网络(BPNN)来确定基于绝对RSS值的指纹相似性，导致平均定位误差(MLE)为0.87 m。

在他们的研究中，Mendoza-Silva[32]提供了选择WiFi样本的地点的建议，并提出了一个新的模型来预测接收到的信号强度。所提出的模型产生描述接入点和所收集的样本之间的任何障碍物的向量。在相关研究中，接入点和样本位置之间的距离以及收集到的数据也用于训练支持向量回归。

基于指纹技术的基于wifi的室内定位系统寻求的另一个特性是通过使用尽可能少的接入点来提供高性能的系统。从少量接入点提供高度精确的定位系统本质上提供了一个过于完整的网络结构[38]。为了提高此类网络中的定位精度，深度学习架构以其强大的计算基础设施构成了许多研究的基础。Chen等人[20]在他们的研究中提出了一种基于局部特征的深度长短期记忆(LF-DLSTM)方法。他们从两个不同的室内环境中收集数据，一个是研究实验室，另一个是办公室。因此，他们使用总共20个接入点从353个均匀放置的参考点收集信号。在该方法中，他们从收集的原始数据中提取局部特征，并使用Deep LSTM - DLSTM架构对得到的原始特征进行分类。

Hsieh等人[35]旨在评估循环神经网络(RNN)在室内定位系统中的有效性，并比较了RNN和LSTM架构。为此，他们使用了长期WiFi指纹数据集，其中46 800个数据用于测试，16 704个数据用于训练。数据集中的数据根据其上下坐标信息进行标注。

Song等人[17]在他们的研究中使用了三个不同的数据集。他们对数据集中的现有数据进行规范化，并使用堆叠自编码器进行降维。因此，他们的目标是保留数据的必要特征。在他们的工作中，作者提出了一个基于CNN的深度学习架构，并测试了不同优化器的性能。

Khatab等人[10]提出了一种使用自编码器- ADELM进行特征提取的深度极限学习机。为了测试他们的工作，作者在实验室环境中创建了一个覆盖面积为40.4平方米× 28.8平方米的数据集。在创建的数据集中有19个接入点和总共10,000个数据。

Kim等人[19]在他们的研究中提出了一种可扩展的深度神经网络架构，用于多建筑和多层室内定位。为此，他们使用了UJIIndoorLoc数据集，其中包含许多建筑和楼层信息。采用堆叠式自编码器进行特征提取，对3层和5个不同的建筑进行分类。建筑命中率为99.82%，楼层命中率为91.27%。

Hernandez等人[18]提出了一种基于CNN的方法，他们在工作中称之为WiFiNet。提出的CNN方法包括13个卷积层，每三个Conv+BN层一个Batch Normalization (BN)层和一个ReLU层(Rectified Linear Unit，整流线性单元)。利用ResNet18和AlexNet进行特征提取，并结合SVM和subspaceKNN对该方法进行了测试。因此，使用WiFiNet在现有位置上达到3.5 MLE，获得了最高的精度。

Jia等人[14]提出了一种基于长短期记忆网络(LSTM)的WiFi指纹定位算法。采用基于主成分分析和稀疏样本高斯过程回归的样本展开算法(PGSE)。特别是在采集的参考点数量有限的情况下，采用主成分分析选择接入点，采用高斯过程回归提取训练样本中的参考点坐标和相应的接收信号强度值。

3.提出了基于xai的深度架构

在本节中，我们提出了基于xai的深度学习架构。首先，我们对预处理过程进行了说明。其次，我们提出了用于室内定位的混合深度学习模型的架构。然后，我们描述了用于解释和解释深度学习模型输出的XAI模型。如图1所示为室内定位的整体系统架构。给定体系结构中的每个阶段都将在子部分中详细解释。

3.1. 预处理:粒子滤波

为了从信号数据中的信号值中去除不必要的影响，并探索收敛于原始值的空间，我们对数据使用粒子滤波器作为预处理阶段。粒子过滤器是一种基于贝叶斯理论的过滤器，它基于找到最可能实现系统的候选值的近似。粒子过滤器中的粒子被赋予代表可能解的权重值。权重值表明粒子所代表的溶液对后验密度函数的影响有多大。后验分布是通过更新粒子权重和重新采样来计算的，考虑到所进行的测量。粒子滤波包括两个递归步骤，一个预测步骤和一个更新步骤。在每个步骤中，估计过程被赋予权重，表明代表感兴趣变量[39]的多个副本的粒子的重要性。估计步骤使用所有粒子的加权和来执行。粒子滤波算法模仿自然界中发现的迭代步骤。每次操作后，通过添加随机噪声更新每个粒子值，随机噪声根据观测值[9]重新评估。在递归操作中，权重较低的粒子从系统中移除，而权重较高的粒子留在系统中，直到收敛最大化。

3.2. 提出混合深度学习模型

图2显示了所提出的室内定位深度学习模型的整体架构。所提出的架构是一种混合深度学习方法，包括用于特征提取和过滤过程的稀疏自编码器，用于捕获局部模式的两个卷积层和最大池化层，用于考虑长期依赖关系的一个LSTM层，以及用于分类的两层全连接神经网络和softmax层。在本节中，将分别详细解释这些阶段。

5. Conclusion

在本研究中，提出了一种可解释的混合深度学习架构，以提供室内区域的移动性管理，这是物联网生态系统的基本服务之一。为了测试所提出的方法，使用了三个不同的数据集，包含指纹法收集的属于WiFi信号的RSSI数据:HALIC, RFKON, UJIIndoorLoc。在选取的数据集中，利用粒子滤波去除室内区域受到的影响所造成的信号畸变，并估计原始信号值。由于使用信号图进行的研究中形成的网络结构形式不同，为了创建一种可以覆盖过完全和不完全网络的方法，使用稀疏自编码器对数据集的特征进行评估。该架构使用稀疏自编码器进行特征提取，然后同时使用卷积神经网络(CNN)和长短期记忆(LSTM)进行室内定位。我们通过提供使用不同深度学习架构(如DNN, CNN, LSTM)的综合基准来展示所提出的混合模型的有效性。该方法的定位精度最高，在HALIC数据集中为98.52，在RFKON数据集中为98.42，在UJIIndoorLoc数据集中为95.33。为了分析ap位置和ap值对该模型位置估计的影响，给出了LIME和SHAP两种XAI方法的结果。

我们今后的工作重点是两个方面。首先，我们计划对三维位置坐标估计问题的方法进行变换。其次，我们的目标是通过实时应用不同的过滤过程来改进所提出的深度学习模型。