网络训练生成飞行轨迹

最新推荐文章于 2023-06-25 20:34:49 发布

SLAM On the Road

最新推荐文章于 2023-06-25 20:34:49 发布

阅读量1k

点赞数 5

文章标签：计算机视觉网络

本文链接：https://blog.csdn.net/wxm__/article/details/121393288

版权

本文详细介绍了如何训练网络来生成飞行轨迹。网络结构在nets.py中定义，核心部分是_plannet_branch函数。数据预处理包括图像和IMU数据的处理，整合后输入网络。训练流程涉及数据集的创建、点云加载、梯度计算和损失评估。网络损失包括轨迹差异和碰撞代价。

摘要由CSDN通过智能技术生成

网络训练生成飞行轨迹

介绍

本文是博客的子文。介绍如何对网络进行训练。主要代码文件如下：
在这里插入图片描述
整体代码框图如下，本文介绍框图中的B模块：

网络结构

网络结构定义代码在 nets.py中，模型名称为 PlaNet.
参考整体框图中的B模块。代码中_internal_call函数，实现了B模块的流程。
网络默认不输入RGB图像，仅输入SGM深度图像和飞机的位姿，以及给定轨迹方向。
因此，_internal_call函数分别对输入数据进行处理：

首先处理飞机的位姿和期望方向，对应B框图中的States Backbone
imu_embeddings = self._imu_branch(imu_obs)。
再处理输入的图像数据，对应B框图中的Depth Backbone
img_embeddings = self._preprocess_frames(inputs)
整合飞机位姿和图像数据,
total_embeddings = tf.concat((img_embeddings, imu_embeddings), axis=-1)
网络计算
output = self._plan_branch(total_embeddings)

    def _internal_call(self, inputs):
        if self.config.use_position:
            imu_obs = inputs['imu']
        else:
            # always pass z
            imu_obs = inputs['imu'][:, :, 3:]
        if (n