SLAM特征提取新变革：神经符号学结合自适应优化，实现环境适应性大飞跃！-CSDN博客

本文链接：https://blog.csdn.net/soaring_casia/article/details/140793447

论文标题：

A Neurosymbolic Approach to Adaptive Feature Extraction in SLAM

论文作者：

Yasra Chandio, Momin A. Khan, Khotso Selialia, Luis Garcia, Joseph DeGol, Fatima M. Anwar

导读：

本研究提出了一种创新的神经符号学方法（nFEX），用于自适应地改进SLAM中的特征提取模块。nFEX结合了深度学习和符号推理的优势，通过领域特定语言（DSL）动态选择和配置最优的特征提取器，以适应不断变化的环境条件。实验结果表明，nFEX在多个数据集上显著提高了特征提取的质量，减少了姿态误差，并在没有GPU支持的情况下实现了实时性能。©️【深蓝AI】编译

1. 摘要

自主机器人、自动驾驶车辆以及各类VR、AR设备需要在动态变化的真实世界环境中进行精确且可靠的跟踪定位，然而，诸如SLAM等现有的跟踪方法，尽管经过了广泛的手动调整，但仍然不能很好地适应环境变化和边界条件；另一方面，基于深度学习的方法虽可以更好地适应环境变化，但它们通常需要大量的训练数据，并且在适应新领域时往往缺乏灵活性。为了解决这个问题，本研究提出了利用神经符号学程序合成方法来构建可适应的SLAM流程，这些流程整合了传统SLAM方法的领域知识，同时利用数据学习复杂关系。该研究首先设计了一种领域特定语言（DSL），它可以封装特征提取的重要属性和各种特征提取器在现实世界中的表现；然后，神经符号学架构进行自适应特征提取，通过学习优化参数，同时使用符号推理来选择最合适的特征提取器。实验评估表明，神经符号学特征提取（nFEX）能够产生更高质量的特征，还可将观察到的ORB和SIFT这些最先进基线特征提取器的姿态误差分别降低了高达90%和66%，从而增强了系统在新环境中的效率和适应性。

本文的主要贡献如下：

●神经符号学方法（nFEX）：提出了一种新颖的神经符号学方法，用于自适应地改进SLAM系统中的特征提取模块；

●领域特定语言（DSL）：开发了一种DSL，用于封装特征提取的重要属性和不同特征提取器在现实世界中的性能表现；

●自适应特征提取：通过学习优化参数，并使用符号推理来动态选择最合适的特征提取器。

2. nFEX

2.1 nFEX概述

在传统的SLAM中，图像由预先选择的具有固定参数的特征提取器处理，产生一个特征向量，并将其馈送到剩余的SLAM步骤（里程计和其他优化）中用于姿态生成。为此，本研究提出的方法nFEX如图1所示，合成了一个神经符号程序，旨在根据实时环境输入动态选择和配置特征提取器，即用神经符号特征提取取代传统的手动调优特征提取模块，如图2中蓝色突出显示。

在这里插入图片描述
图1｜nFEX概述©️【深蓝AI】编译

在这里插入图片描述
图2｜nFEX(篮框)在SLAM框架中的贡献©️【深蓝AI】编译

2.2 DSL架构

nFEX基于DSL框架进行搭建，DSL框架概述了以下结构：

（1）特征提取器选择(α)，用于识别给定场景条件下的最佳特征提取器架构；

（2）参数配置(Θ)，用于确定了增强特征提取器性能的最佳参数设置。

DSL框架使用知识图将领域洞察封装到特征提取模块中，知识图充当领域信息数据库，帮助理解和导航模块的操作和参数。DSL框架下的知识图如图3所示，其包含了表示各种特征提取操作的节点，例如尺度空间表示、关键点检测和描述符，图中的边根据性能指标、计算考虑和对环境因素的适应性描述了这些操作之间的关系和兼容性。

nFEX构建了相关的DSL语法（语法示意如图4所示），使用图概念，及相关语法解析输入条件的结构（例如室内/室外场景、代理类型、照明条件等），并根据描述的每个规则选择合适的α及其Θ。nFEX中的DSL语法增强了适应性，并简化了新应用程序的每次重新校准，使用户可以直接添加新的输入条件和参数。这种DSL确保了合成的程序在逻辑上是一致且可操作的，允许自动解析和执行特征提取。一旦DSL建立起来，就能够确保程序的逻辑连贯性和可操作性，从而实现特征提取的自动解析和执行。

nFEX通过参数调优(Θ)和特征提取器选择(α)两步适应度函数实现一个DSL程序来实现其目的：

（1）参数调优（Θ）：给定一组特征提取器 $α = {α_1, α_2, ..., α_y}$ ，为每个特征提取器的初始参数 $Θ = {θ_1, θ_2, ..., θ_n}$ ，以及一组符号环境条件 $E = {e_1, e_2, ..., e_c}$ ，优化过程由一个变换函数 $g (θ, E)$ 定义，该函数根据 $E$ 动态调整 $Θ$ ，得到优化后的参数集 $Θ^′ = {θ^′_1, θ^′_2, ..., θ^′_n}$ ，其中 $w_k$ 为每个参数 $k$ 的权重，权重表示为如下公式：

$\Theta^{\prime}=g(\Theta,E),\quad w_{k}=\prod_{j=1}f_{kj}(e_{j})\\\theta_{k}^{\prime}=w_{k}\cdot\theta_{k}=\left(\prod_{j=1}^{c}f_{kj}(e_{j})\right)\cdot\theta_{k}\quad\text{for each }k\in\{1,2,\ldots n\}$