深度学习在姿态跟踪中的应用 ML + Pose Tracking —— 概述

2 篇文章 0 订阅
2 篇文章 0 订阅

总结姿态跟踪基本方法(效果比较好的)。

写在前面:

参考论文

Deep Learning on Monocular Object Pose Detection and Tracking: A Comprehensive Overview

2021年发表

关注点:

  • 深度学习在姿态跟踪领域的应用
  • 实例级的/类别级的 + 姿态检测/姿态跟踪(四个方向:实例级的姿态检测、类别级的姿态检测、实例级的姿态跟踪、类别级的姿态跟踪)
  • 输入数据为:单目相机的 RGB/RGBD vedio(不涉及数据融合)
  • 论文内容涉及:评价指标、数据集、SOTA方法之间的比较

我比较关心姿态跟踪的部分。

正文:

问题描述

指明一个(或多个)待跟踪物体,跟踪它的姿态变化。

具体的

  • 输入:        
    • 一个RGB/RGBD vedio(a series of RGB/RGBD images)
    • 待跟踪物体第一帧的位置掩码(init 6D pose)
    • 待跟踪物体CAD模型 —— 即提前给出待跟踪物体的3D模型,也可以不给(目前大多数方法需要已知3D模型)
  • 输出:每一个时刻的位姿 Pose_{time}

2D/3D/6D/7D/9D Tracking:

维度输入数据格式维度含义计算物体尺寸应用场景
2DRGBx,yNo二维平面跟踪定位
3D6DofRGB / RGBD + CADx,y,z,pitch,yaw,rollNo跟踪已知3D模型/尺寸的物体
7DofRGB / RGBDx,y,z,roll,length,width,heightYes自动驾驶,假设车辆不会绕x,y轴旋转
9DofRGB / RGBDx,y,z,pitch,yaw,roll,length,width,heightYes跟踪未知物体(任意物体/已知类别物体)

* 我比较关注的是9Dof的跟踪,即如何跟踪一个未知物体的姿态

分类

姿态跟踪可以分为实例级的姿态跟踪和类别级的姿态跟踪:

  • Instance-Level Pose Tracking
  • Category-Level Pose Tracking

数据集

数据集级别数据格式CAD模型类别数视频数总图片数分辨率
YCB videoinstanceRGBDYes2192(80train+12test)134k640*480
HomebrewedDBinstanceRGBNo331317k640*480 & 1920*1080
ObjectroncategoryRGBNo915k4M1920*1440

方法

跟踪方式具体方法维度数据要求年份
Tracking by DetectionMono3D-Tracking7Dof2019
3DOT7Dof
MotionNet9Dof
Tracking by KeypointsCenterTrack7Dof
6-PACK9DofRGBD2019

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 要基于六轴IMU估算车辆姿态角,可以遵循以下步骤: 1. 收集IMU数据:使用车辆上的六轴IMU,收集车辆的加速度计和陀螺仪数据。加速度计可用于测量车辆在三个方向上的线性加速度,而陀螺仪可用于测量车辆在三个轴向上的旋转角速度。 2. 数据预处理:由于IMU传感器可能存在误差和漂移,因此需要对数据进行预处理。预处理过程包括去除传感器偏移和漂移,进行数据校准等。 3. 运动学模型:车辆姿态角可以通过运动学模型计算得出。可以利用加速度计测量车辆在三个方向上的加速度,并根据重力方向计算出车辆的姿态角。然后可以使用陀螺仪测量车辆的旋转角速度来更新姿态角。 4. 卡尔曼滤波:为了进一步提高姿态角估算的准确性,可以使用卡尔曼滤波算法对IMU数据进行滤波和优化,以消除噪声和误差。 综上所述,基于六轴IMU估算车辆姿态角需要进行数据采集、预处理、运动学模型和卡尔曼滤波等步骤。 ### 回答2: 基于六轴IMU(惯性测量单元)估算车辆的姿态角可以通过以下步骤来实现: 1. 数据采集:使用IMU来获取车辆传感器数据,包括三轴加速度计和三轴陀螺仪的测量值。这些数据将用于计算车辆的姿态角。 2. 传感器校准:在进行姿态角估算之前,需要对IMU进行校准。校准包括静态校准和动态校准。静态校准是将IMU放置在固定位置上,记录传感器读数进行零偏和缩放误差校准。动态校准是在车辆运动通过特定动作,如旋转和加速度变化,获取校准参数。 3. 加速度计数据处理:使用三轴加速度计的测量值可以计算得到车辆的俯仰角和翻滚角。通过采用非线性滤波算法(例如卡尔曼滤波器)可以减少噪声和误差,并得到更准确的姿态角估计值。 4. 陀螺仪数据处理:使用三轴陀螺仪的测量值可以计算得到车辆的偏航角。偏航角的估算可以通过将陀螺仪积分得到角速度,然后将角速度积分得到偏航角。然而,陀螺仪积分会导致累积误差,因此需要采用校正方法,如融合地磁场数据或使用GPS信息来减少积分误差。 5. 姿态角融合:通过将加速度计和陀螺仪数据进行融合,可以得到更准确的姿态角估计。常见的方法包括互补滤波、扩展卡尔曼滤波器和粒子滤波器等。 总结起来,基于六轴IMU估算车辆姿态角需要进行数据采集、传感器校准、加速度计和陀螺仪数据处理,以及姿态角融合等步骤。通过合理选择和优化算法,可以提高姿态角估计的精度和稳定性,进而实现对车辆姿态角的准确估计。 ### 回答3: 基于六轴IMU(惯性测量单元)估算车辆的姿态角,主要通过读取传感器数据并进行处理来实现。 首先,IMU通常包括三轴加速度计和三轴陀螺仪。加速度计可以测量车辆的线性加速度,陀螺仪可以测量车辆的角速度。通过这些数据,可以进行如下步骤进行姿态角的估算: 1. 数据读取:从IMU获取加速度计和陀螺仪的原始数据。通常,这些数据以三维向量的形式提供。 2. 加速度计数据处理:将加速度计的原始数据转换为车辆的姿态角加速度。这可以通过计算加速度计数据与重力的夹角来实现。根据重力在车辆坐标系的方向,可以将加速度计的数据转换为车辆相对于水平面的姿态角加速度。 3. 陀螺仪数据处理:将陀螺仪的原始数据转换为姿态角速度。陀螺仪数据提供了车辆绕各个轴旋转的角速度。通过积分这些角速度数据,可以得到车辆各个轴上的姿态角。 4. 姿态角估算:根据加速度计和陀螺仪数据,可以计算出车辆的姿态角。此过程可能会考虑到卡尔曼滤波器等算法来对数据进行融合和滤波,以提高姿态角的准确性和稳定性。 总的来说,基于六轴IMU估算车辆姿态角的过程,是将加速度计和陀螺仪的数据转化为角度信息,然后通过数据处理和算法融合来估算车辆的姿态角。这些姿态角信息对于车辆控制和导航等应用十分重要。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值