文献拜读小记：7.基于深度学习的图像与无线信号的融合定位关键技术研究

基于无线信号的室内定位技术

• 具有计算复杂度低、可实现性强的优点,但存在多径、非视距干扰、特征空间区分度不够等缺点;

基于计算机视觉的室内定位技术

• 具有能获得大量稳定的环境信息的优点,但存在计算复杂度高、受光照影响严重等缺点

主要内容

1.针对如何将图像信息与无线信息在同一维度实现融合的问题,本论文提出了一种基于卷积神经网络的地标检测模型

• 利用地标检测模型检测图像中的地标,并用这些地标来表达图像信息,从而实现将二维的图像信息映射到一维的地标特征。
• 并将该特征用于最后的融合网络模型的输入

2.针对地标选择问题,本论文提出了地标特征筛选方法。

• 由于目标众多,如果将所有目标作为地标则需要大量的标注工作,使得该融合定位方法的可实施性降低。
• 根据本文提出的特征筛选方法筛选独立性强的目标特征,
• 在滤除冗余目标的同时使得目标分布更加均匀,在小样本训练情况下目标检测平均精度从原来的0.69提升到0.90。

3.针对如何获得合理的训练数据问题,本论文提出加权抽取模型。

• 由于不同手机接收到的Win信息存在差异,为了得到适合于不同手机的鲁棒的训练集,本论文提出加权抽取模型融合多种不同型号手机接收到的WIFI数据作为训练数据。实验证明在另一种型号手机上测试时,融合前后平均定位误差减小约0.3m。

4.针对预处理得到的地标特征和WEFI特征的融合问题,本论文提出基于深度学习的融合网络模型。

• 该模型先对两种特征分别连接,然后再级联,最后利用回归的方法计算定位结果。
• 该融合模型相比目前较好的室内定位方法,在本论文的实验场景下平均定位误差减小了约lm。

最后,通过实验分析比较,证明了本论文提出的方法具有可实现性和对不同型号手机在多场景下具有定位鲁棒的优势。

基于计算机视觉的定位方式

一般是通过光学传感器对室内场景扫描并构建三维地图,然后通过地图匹配和相机位姿估计推测出相机在该场景中的位置。计算机视觉定位技术相较于基于无线信号的定位技术,可以获得更加丰富的场景信息,用于定位的同时可以对场景进行理解。该技术由于不需要部署额外的设备,作为一种主动式获得信号的方式具有部署成本低的特点。
近年来,基于计算机视觉的定位技术成为国内外学者的研究重点,主要解决办法有：

• 利用图像特征点匹配构建三维地图再与地图匹配估计相机位姿的同时定位与建图(SLAM,Simultaneous Localization
  and Mapping)方法
• 和利用深度学习实现端到端估计相机位姿的方法。

计算机视觉定位有诸多优点,也是未来服务机器人室内定位和导航的首选方法,但该技术也存在着复杂度高、受光照和遮挡影响严重、数据采集成本高等冋题

基于图像与无线信号的室内融合定位方法

主要分为决策级融合和特征级融合。

1.决策级融合目前常用扩展卡尔曼滤波以及粒子滤波在决策级对基于无线信号和图像的定位结果进行融合。

• 这种融合方法容错性好、抗干扰能力强、易于实现,所以截止到当前出现了大量基于粒子滤波的室内融合定位算法。

2.特征级的融合方法主要是分别提取各信号源的特征,然后对这些特征进行组合形成一种鲁棒性更强的特征。

• 作者在研宄生期间和导师[25]提取图像的主成分特征(PCA,Principal Component Analysis)和方向梯度直方图特征(HOG,HistogramofOrientedGradient)并进行融合证明了特征级的融合方法可以得到鲁棒性更强的特征。通过对融合后的特征进行匹配可以获得稳定性更好的定位结果
  这些结合深度学习融合图像与无线信号的方法,虽然能够增强无线信号的定位稳定性,但是通过卷积神经网络提取的图像特征数据量远大于无线信号特征量。特征间的数量差异造成不同特征对结果的影响差异很大：
  

论文的四个工作：

1.本论文在原SSD目标检测网络的基础上提出地标检测网络模型

利用该模型检测本实验场景内的地标。通过利用这些地标是否存在的一维信息来表达图像内的场景信息。这样就实现了将可见的地标信息和空间中的AP信息在维度上统一。可以很好的理解为手机通过图像检测周围有什么地标,通过WIFI检测周围有什么AP。该模型是不同维度信息融合的核心和本文的第一个创新点。

2.提出目标选择方法

由于室内场景中可以作为地标的目标种类很多,如何选择合适的目标作为地标是一个问题。如果将所有目标作为地标,则会增加地标检测的运算量和标注成本,还会降低地标检测的准确率。但是如果地标检测的目标种类太少又会降低图像对定位精度的贡献。
如何选择独立性强的地标是本文的第二个创新点。

• 本文利用皮尔逊特征选择滤除那些相似性高的冗余地标,提髙地标检测精度。也就是用较少的地标种类获得最好的定位精度。

3.提出无线信号加权抽取模型

基于指纹的定位方法都存在数据采集的问题。WIFI信号数据不稳定、随机因素多直是限制基于WIFI的室内定位技术精度的原因。同时，由于不同手机厂家使用的WIFI芯片不一样,导致不同型号手机采集的WIFI数据差别大。
为了更合理的利用不同型号手机采集的WIFI数据,本论文提出WIFI数据加权抽取模型。

• 该模型主要是通过对不同型号的手机采集的数据赋予不同的抽取权重,然后利用加权抽取的方法获得训练数据。
• 该方法在不改变数据分布的同时,增加了不同手机采集的数据对训练网络的影响因子,获得了更合理的网络参数。

WIFI数据加权抽取模型的提出是本论文的第三个创新点。

4.提出融合网络模型

由于图像数据与无线信号融合存在不同源且不同维度的问题。
如何实现多源数据的信息互补同时去冗余是融合问题的关键。
本论文在利用地标检测网络检测地标后,利用神经网络将地标信息和WIH信息融合。本论文没有采用直接的将这两种信号级联然后通过全连接网络回归位置坐标的方法,而是提出了将两种信息分别全连接以加强各自之间的联系,然后再级联并用全连接网络回归位置坐标。
本论文提出的该方法相比直接全连接的方法,在减少了网络运算量的同时增加了两种信息自身内部的联系,使得训练的网络稳定性更好。该融合网络的设计是论文的核心和第四个创新点。