基于深度强化学习的视觉导航算法【matlab代码】

一、主要内容

视觉是人类观察世界最重要的感官之一，赋予计算机——人类的视觉功能，能够使其能够更智能地获取和处理图像等数据信息，使移动机器人的导航更容易。深度强化学习方法融合了深度学习和强化学习两者的优点，既具备感知能力，又具备决策能力。它能够对来自输入的图像特征信息直接给予控制。它是一种更接近人类思维方式的人工智能方法。它已被成功地应用于各种类似游戏的环境。然而，将深度强化学习应用于真实环境中的视觉导航技术是一项实际而具有挑战性的任务。

对现有的基于深度强化学习的视觉导航方法进行研究，通过分析国内外视觉导航的研究方法和理论，发现该研究领域具有广泛的应用价值和发展的空间。经过对文献的分析和对具体视觉导航模型的研究，本文计划针对模型泛化性、奖励稀疏性和数据样本效率低等问题，在目标驱动视觉导航模型的基础上进行了改良：一是针对目标识别部分，融入了LSTM 网络，构造一种新的图像编码机制，该编码机制能够有效的提高对图像信息的特征提取；二是针对导航训练部分，引入注意力机制，使得网络在训练过程中，能够更加关注有价值的信息，同时提高训练效率。

二、核心算法和过程

视觉作为人类获取外部环境信息的主要途径之一，也是智能机器人感知环境和执行任务的重要途径之一。借助于视觉传感器，智能机器人可以获取物体的位置、运动状态、形态特征和与周围物体的关系等信息，并通过现代计算机视觉和图像处理技术对图像数据进行处理，以提取特征信息，并对任务进行分析和决策。视觉导航是人工智能体与环境交互以实现高级行为的关键和基础技术。基于深度强化学习的人工智能体视觉导航将会是人工智能和机器人领域一个新的研究热点，它将 DRL 的决策融入到视觉导航中。通过DRL（一种端到端的方法）进行视觉导航，直接接收高维图像并生成最佳导航策略。

针对奖励稀疏性、样本效率低、环境的复杂性以及泛化性的问题。通过使用ImageNet数据集上预训练过的 ResNet50 网络获取图像特征，可以大大降低强化学习智能体处理的输入信息的维度，加快神经网络的训练速度。同时这些特征已经学习到了大量的对图像有用的信息，所以这种策略可以避免从零开始训练神经网络，使得智能体更加关注策略的选取，进而提升了智能体的泛化能力。作者将会在下一章构建改良后的模型，以便更好地提高智能体导航的性能。将智能体放到AI2-THOR 模型中进行训练时，它可以提供丰富的高质量 3D 场景和一个物理引擎环境，避免了场景单一，同时可以提供高质量的训练数据，让智能体能够更好地应对真实世界的复杂情况。
同时考虑到实际环境中，一个物体本身会有许多相似的结构，这就无法进行准确的判断。例如：当智能体本身面对一个木桌时，许多状态会产生相同或非常相似的图像。因此环境的部分可观察性不允许智能体根据唯一的观察来区分它所占据的状态。因而通常将视觉导航问题看成一个部分可观察的马尔可夫决策过程。然而，为了便于记述，本文将首先把这个问题作为一个标准的MDP 实例来介绍，使用状态 ，来表示t 时刻的状态。之后用过去的观察序列 代替状态。在每个学习事件的开始，智能体从状态s开始。

通过使用了两个 ResNet50 卷积网络分别对当前初始位置的图像帧和目标位置的图像帧进行提取，再通过全连接网络传递给LSTM 网络。在前向传播期间，通过递归网络的 LSTM 单元传递场景特定的完全连接层。每个 LSTM 单元的隐藏状态被一步一步地保存。然而，在反向传播期间，LSTM 单元被展开以获取本地网络中代理所获取的最近历史信息，包括在异步训练协议中最后一次将参数从全局同步到本地网络之后的所有历史。这样，本地网络从全局网络的初始权重开始进行的所有探索都可以在一次更新中得到累积。

优化后结果

博主简介：本人擅长数据处理、建模仿真、程序设计、论文写作与指导，毕业论文、期刊论文经验交流。个人博客：kelaboshi.com。