《论文阅读》CNN for IMU Assisted Odometry Estimation using Velodyne LiDAR

最新推荐文章于 2024-07-09 00:04:06 发布
最新推荐文章于 2024-07-09 00:04:06 发布
阅读量419 收藏 2
点赞数 1
分类专栏： 深度学习 计算机视觉 文章标签： 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/118576287
版权

留个笔记自用

CNN for IMU Assisted Odometry Estimation using Velodyne LiDAR

做什么

Lidar Odometry激光雷达里程计，里程计作为移动机器人相对定位的有效传感器，为机器人提供了实时的位姿信息。移动机器人里程计模型决定于移动机器人结构和运动方式，即移动机器人运动学模型。
简单来说，里程计是一种利用从移动传感器获得的数据来估计物体位置随时间的变化而改变的方法
在这里插入图片描述
用建图的方式来理解，要实现机器人的定位与导航，就需要知道机器人走了多远，往哪走，也就是初始位姿和终点位姿，只有知道了里程计，才能准确将机器人扫描出来的数据进行构建。

做了什么

在这里插入图片描述
将3D稀疏点云投影至2D后用CNN解决问题，这里还为激光雷达里程计任务提出了一种alternative networks（替代网络）

怎么做

在这里插入图片描述
激光雷达里程计的任务目标是输入给定当前帧点云Pn和前N帧Pn-1，Pn-2…Pn-N，每帧点云存在不同数量的点，每个点的组成为
在这里插入图片描述
px、py、pz是点p的三维坐标，pi是点p的深度值，pr捕获该点时的“环指数”，这个在后面有提及
希望得到一个6DoF（6自由度，三个方向的平移和沿三个轴的旋转）的位姿转换Tn
在这里插入图片描述
用一个参数θ来表示这个映射函数
在这里插入图片描述
也就是将N+1长度的序列点云通过网络结构代表的函数θ得到目标6DoF转换矩阵Tn
首先也是点云领域的常客，输入点云的数据处理，这里也采用的3D至2D的柱面投影方式，设投影函数为ε，这样就可以改写任务目标为
在这里插入图片描述
也就是输入为点云投影的2D密集矩阵M，通过这个平面序列得到目标的6DoF结果，不过为了更精细地区分6DoF中的两个（旋转和平移），这里是将它们俩分开来进行回归的，也就是存在θR和θt分别对应两个不同的映射
在这里插入图片描述
除此之外，还对旋转的映射R做了一点改进，因为KITTI数据集中的旋转都非常的小，与其设计成回归问题，这里是将其改进成了分类问题（密集采样），具体方法在后面介绍
然后就是具体定义这里的ε函数方式，这里的方法与以往的不同，采用了一个叫polar bin的东西（这里的polar是极坐标的意思）
在这里插入图片描述
这里的意思是将点云按照新设计的两维分割成多个部分，这里的两维r，c分别是ring index和polar cone
在这里插入图片描述
简单来说的意思就是将整个点云的每个点二维坐标（r，c）化，r是点的角度，c是点的线束
做法是用的之前的一篇论文《Collar line segments for fast odometry estimation from velodyne point clouds》
在这里插入图片描述
这里的br,c的意思是某一点云P中的某一个polar bin，ε与上面的整体函数不同，这里的ε是对这个polar bin内的所有点进行计算，px,y,z,i的定义方法与上面相同，|br,c|则是这个polar bin的大小。这两个式子的含义就是将这个polar bin点云内的所有点聚合转换成一个三维向量
这个三维向量就是作为矩阵M上索引（r，c）这个点上的三维特征，为了更好的拟合处理，将三维特征分在三个通道上，做成类似RGB图片的形式
在这里插入图片描述
总的来说，这里对输入的处理是将输入点云根据线束和角度分成多个polar bin，在每个小区域内聚合计算出一个三维向量代表这个区域，然后用二维方式表示一个个向量，通道方式表示每个索引坐标的三维向量
最终得到的就是最初的ε函数的目的，将点云投影成一个二维平面∈R360×64×3
然后就是网络具体结构了
在这里插入图片描述
网络结构很明显，输入是一个图像序列，两个不同函数θr和θt都使用相同的CNN结构（成对输入），就是上面的CNN part，然后通过一个不同的FC层来进行最终两个结果的输出，也算是一个孪生网络
上面的CNN part结构为
在这里插入图片描述
这样就能使用这个网络进行平移量的回归，但就像前面说的对旋转的回归进行了一点改进，将其模拟成了分类问题，回顾一下设计公式
在这里插入图片描述
将网络修改成
在这里插入图片描述
简单来说就是在旋转空间中根据上一个旋转向量分维的密集采样了K个旋转向量，将这K个旋转向量应用到Mn帧上，然后利用CNN成对输入再用FC进行特征处理，最后softmax取所有旋转矩阵也就是Ri的可能性，变成了一个采样矩阵然后分类矩阵概率的网络，就像是评分网络一样
这里的CNN part是
在这里插入图片描述
值得注意的是，这里是三个孪生网络，分别构造了三个相同的网络来单独进行x、y、z三个轴的估计，也就是采样也是根据单个轴来进行±1°的采样
在这里插入图片描述
在这里插入图片描述
然后在采样的概率（评分）下选择最合适的旋转矩阵，可以采用softmax直接选，也可以像上面这样用加权平均的方法

总结

1.这篇主要是编码方式比较有特色，后面的网络结构没有什么特殊的地方，看来LO这个领域主要的就是处理输入数据，在这方面值得投入更多的研究空间
2.采用的孪生网络的方式进行独立的旋转和平移计算，但其实在我印象中之前不很多做法是共享特征的，反而效果更好，这也未尝不是种方法

未知丶丶
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Robust Odometry Estimation for RGB-D Cameras
license的博客
01-16 352
1.Robust Odometry Estimation for RGB-D Cameras Author: Christian Ked, Jiirgen Sturm, and Daniel Cremers 文章目录1.Robust Odometry Estimation for RGB-D Cameras一、个人总结二、论文笔记1. Direct Motion Estimation2. Robust Motion Estimation3. Evaluation4. Conclusion 一、个人总结 研
【论文笔记】基于点云投影的激光里程计: CNN for IMU Assisted Odometry Estimation using Velodyne LiDAR
phy12321的博客
09-27 511
论文将三维点云编码成2维矩阵,使用CNN对其进行特征提取和后续处理. 类似的方法在其之前的工作中被用于ground segmentation 以及 vehicle detection： 《M. Velas, M. Spanel, M. Hradis, and A. Herout, “CNN for very fastground segmentation in Velodyne lidar data,” 2017. [Online]. Available:http://arxiv.org/abs/1709.
基于深度学习的IMU解算
最新发布
weixin_42605076的博客
07-09 833
基于深度学习的惯性测量单元（IMU）解算是一种利用深度学习算法处理和分析IMU数据，以提升姿态估计、运动轨迹跟踪和定位精度的方法。IMU通常由加速度计、陀螺仪和磁力计组成，广泛应用于智能手机、无人机、机器人、虚拟现实（VR）和增强现实（AR）等领域。
每天一篇论文 290/300 Deep Sensor Fusion for Real-Time Odometry Estimation
流浪机器人的博客
12-18 358
Deep Sensor Fusion for Real-Time Odometry Estimation 本文提出一个激光和RGB用深度网络融合标定估计vo的方法，通融融合匹配算法不但能够避免标定误差同时提高了里程计估计得效果。 摘要 摄像机和二维激光扫描仪的结合，能够提供低成本、轻量化和精确的解决方案，这使得它们的融合非常适合许多机器人导航任务。然而，正确的数据融合依赖于传感器之间刚体变换的精确...
论文翻译：Robust Odometry Estimation for RGB-D Cameras
jiweinanyi的博客
08-28 675
前言 视觉里程计所基于的理论框架在前几年已经基本成型。新的ideas需要在之前的工作的土壤中生根发芽，这也是本文对该论文进行翻译的动机所在。这篇文章是2013年ICRA Best Vision Paper Award - Finalist。 摘要 本文的工作是针对RGBD图像提出一个快速、精确的相机位姿估计方法。我们的方法是通过最小化像素误差对连续帧相机进行位姿估计。我们使用一种coarse-to...
详解IMU标定经典论文：A Robust and Easy to Implement Method for IMU Calibration without External Equipments
10点43的博客
12-13 2035
本文介绍一篇 IMU 标定论文，论文收录于 ICRA14，在论文中作者介绍了如何不适用外部设备标定 IMU 加速度和角速度偏差、尺度系数、轴偏移参数。 论文链接：https://readpaper.com/paper/2021503353、https://readpaper.com/paper/2211578699 项目链接：https://github.com/JzHuai0108/imu_tk_matlab 1. Sensor Error Model 首先介绍传感器误差模型，令 aO\mathbf{.
lidar与imu联合录制rosbag
04-10
标题中的“lidar与imu联合录制rosbag”指的是使用ROS的`rosbag`工具同时记录激光雷达(lidar)和惯性测量单元(IMU)的数据。这两种传感器在机器人领域有着关键的应用： 1. **激光雷达（LiDAR）**：Light Detection and...
Monocular Camera and IMU Integration for Indoor Position Estimation
02-09
标题中提出的知识点是“Monocular Camera and IMU Integration for Indoor Position Estimation”，也就是单目相机与惯性测量单元（IMU）集成在室内定位估计中的应用。本文的重点在于介绍一种不同于传统方法的室内...
hdl_localization：使用（velodyne）3D LIDAR进行实时3D定位
02-04
hdl_localization hdl_localization是用于使用3D LIDAR（例如velodyne HDL32e和VLP16）进行实时3D本地化的ROS软件包。 该程序包执行基于Unscented Kalman滤波器的姿势估计。 它首先根据在LIDAR上实现的IMU数据估计...
多线程数据采集打包发送 （Include Camera GPS Lidar Radar IMU）.zip
12-28
多线程数据采集打包发送 （Include Camera GPS Lidar Radar IMU） 多线程数据采集打包发送 （Include Camera GPS Lidar Radar IMU） 多线程数据采集打包发送 （Include Camera GPS Lidar Radar IMU） 多线程数据采集...
SUAS_Code.rar_IMU_Kalman filter_imu estimation_navigation
07-14
estimation of states of imu
论文笔记A Survey on Deep Learning for Localization and Mapping: Towards the Age of Spatial Machine Inte
weixin_43886134的博客
04-09 1311
现有方法的分类 3. Odometry Estimation 3.1 VO 关注点在多帧之间的相对位姿计算，深度学习被用来以端到端的方式建模运动动力学，或以混合的方式提取有用的特征来支持预先建立的系统。 分类： ① end-to-end VO ：supervised VO and unsupervised VO 训练数据有无真值标签 ② hybrid VO：深度学习与传统VO算法的结合。 3.1.1 Supervised Learning of VO 输入是连续的图片，输出是两帧之间估计的旋转和平移。直接从
雷达系列论文翻译（四）：LeGO-LOAM
weixin_39061796的博客
08-10 1149
LeGO-LOAM: Lightweight and Ground-OptimizedLidar Odometry and Mapping on Variable Terrain 摘要 我们提出了一种轻量级和地面优化的里程计和建图方法，LeGO-LOAM，用于地面无人车的实时六自由度位姿估计。LeGO-LOAM是轻量级的，因为它可以在低功耗嵌入式系统上实现实时位姿估计。LeGO-LOAM是地面优化的，因为它在其分割和优化步骤中利用了地面的存在。我们首先应用点云分割来滤除噪声，然后进行特征提取来获得独特的平面
CNN当中的几个知识点
LilyNothing的博客
10-11 2423
一、卷积操作关于卷积操作，个人理解就是用一个filter（m*m）的，去对原来的图像进行相乘相加运算。之前的DNN里面讲到的weight其实就是对应着这里的filters。所以也需要网络自己根据训练情况进行修改。卷积操作里面的两个要点： 参数共享：意思就是一个filter划过一整张图片。 局部链接：就是随机或者固定的选择一些神经元进行链接。不连接全部（因为计算量太大）。DNN中的Dropout变种（
Vehicle Detection from 3D Lidar Using Fully Convolutional Network解析(3D-CNN模型)
hit1524468的专栏
04-20 4823
1. 概述该论文的主要工作是，在只利用激光雷达的点云数据作为输入，在点云数据中进行类型为”车辆”的目标进行检测(在复现该算法过程中，存在一个比较显然的现象就是：目标所在的的位置，实际上垂直角一般都很小，在进行映射映射前后容易产生误差，这种误差对于远的目标的定位会有非常明显的影响；或者是是我理解有问题吗？ -2018-04-25)。2. 方法2.1 数据预处理将激光雷达扫描获取的3维点进行映射，其中...
LOAM_velodyne学习（一）
热门推荐
沧海一升的博客
06-17 3万+
在研读了论文及开源代码后，对LOAM的一些理解做一个整理。 文章：Low-drift and real-time lidar odometry and mapping 开源代码：https://github.com/daobilige-su/loam_velodyne 系统概述 LOAM的整体思想就是将复杂的SLAM问题分为：1. 高频的运动估计； 2. 低频的环境建图。 Lidar...
自动驾驶传感器---IMU惯性导航模块（IMU+GPS）
打怪升级ing
10-11 2万+
惯性测量单元 (IMU) ADI公司的iSensor® MEMS 惯性测量单元 (IMU) 传感器以多轴方式组合精密陀螺仪、加速度计、磁力计和压力传感器。 惯性测量单元传感器即便是在极为复杂的应用和动态环境下，我们的技术也能可靠地检测并处理多个自由度(DoF)。 这些即插即用型解决方案包括完整的出厂校准、嵌入式补偿和传感器处理以及简单的可编程接口。 ADI IMU器件选型： http://w...
三维立体测距
zz2230633069的博客
06-10 5117
1.PSMNet 2.双目测距 3.PlaneRCNN 单幅图像的三维平面检测与重建 4.ARCore SDK for Android 5.菜鸟全球科技挑战赛「智能体积测量」 ６.基于vSLAM的方法 ７.基于SFM的MVSNet 1.PSMNet 最新的研究表明，利用一对立体图像来估算深度信息可以格式化为一个有监督的学习任务，进而通过卷积神经网络来解决。然而，当前基于图块...
Estimation of reliable vehicle dynamic model using IMU/GNSS data fusion for stability controller design
04-26
Thank you for your question. Estimating a reliable vehicle dynamic model using IMU/GNSS data fusion is an important research topic in the field of autonomous vehicle control, particularly for stability controller design. There are different approaches to achieve this, including implementing a Kalman filter for sensor fusion or using machine learning techniques such as neural networks or decision trees. However, the specific method that would be most appropriate would depend on the particular application and requirements.
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值