multi task训练torch_Multi-Task Multi-Sensor Object Detection(Uber’19)

最新推荐文章于 2022-10-10 16:22:14 发布
最新推荐文章于 2022-10-10 16:22:14 发布
阅读量262 收藏
点赞数
文章标签： multi task训练torch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_30011833/article/details/112333524
版权

08cfce8fb793e7debad77463e65885df.png
更多相关博客请猛戳：AutoVision
如需转载，请附上本文链接，谢谢!

这篇MMF(Multi-Task Multi-Sensor Fusion for 3D Object Detection[1])是Uber跟Toronto大学联合发布在CVPR2019的一篇关于利用多传感器(lidar+camera)融合进行物体识别的文章。

LiDAR跟Camera是自动驾驶车上非常常见的传感器，它们各自有自己的优缺点，例如：

  1. Camera 能够提供非常丰富的语义信息，而且能够看到很远的物体（例如200m），但是没有办法提供精确的3d位置信息（尤其是单目相机）；
  2. LiDAR 能够得到非常精确的3d位置信息，但是点云随着距离的变大会变得越来越稀疏（Velodyne64 60m，Pandar64 100m点就开始变少）；而且LiDAR的点云通常只包含 x,y,z,intensity，很难有像图像一样丰富的语义信息（一个经典问题就是行人跟树木的误识别）；

在自动驾驶领域，现在越来越多的公司开始尝试将这两种传感器进行融合，从而提升物体检测的精度。

1a855c91ab5956a76bc4891bb50595f9.png

从上图可以很直观的看出，MMF同时利用了2个传感器(LiDAR+Camera)，同时进行4个任务（2D detection, Ground estimation, Depth Completion, 3D detection）最终得到3D物体检测结果。文章认为，通过同时进行多个task联合学习，该算法能够得到更加好的特征表示，从而进一步提升算法精度。

9a0832d030f983f9b66da360a45b55e7.png

从上图可以看出这是一个能够同时输出2D跟3D检测结果的多任务、多传感器融合的检测框架。整体的架构还是比较复杂的，我们可以把它抽象成两个阶段：

  1. First stage：有一个single-shot detector能够提供少量的高质量的3D检测结果；
  2. Second stage：利用ROI-wise的特征融合得到更精细的2D跟3D box regression；
  3. 另外，还有两个辅助任务能够进一步提供一些额外有用的信息：
    1. Ground estimation：能够拟合道路的几何结构信息，为点云提供一些先验(地面高度)；
    2. Depth completion：能够学到更好的多传感器特征并且实现dense point-wise的特征融合；

整个模型是可以通过end-to-end的学习得到的。接下来我就分成两个部分来介绍一下：

  1. 如何通过point-wise以及ROI-wise的特征融合去做2D跟3D的物体检测；
  2. 如何利用另外的两个辅助任务去进一步提升3D的检测精度；

LiDAR+Camera Fusion(Point-wise+ROI-wise fusion)

这个阶段的任务主要包括：

  1. 有两个backbone的分支，分别提取image跟LiDAR BEV的feature maps；
  2. 将不同scale下的image feature跟LiDAR BEV feature分别进行Point-wise的特征层融合；
  3. 融合后的BEV feature map通过2d conv能够对每个BEV voxel预测很多3D检测结果；
  4. 经过NMS跟分值过滤之后，能够得到少量(KITTI测试集上少于20个)的高质量的3D检测框以及相应的2D检测框；
  5. 再利用ROI-wise fusion，将image ROIs跟BEV oriented ROIs进行特征融合，得到更精确的2D跟3D检测框；

Input representation

点云：作者并不是直接处理点云，而是将点云转换成BEV来处理。由于点云的稀疏性，转换的时候需要将点云进行插值体素化(voxelization)。具体的做法是引用作者之前的一篇文章Deep continous fusion [2] ，这也是第一篇将RGB feature跟LiDAR BEV feature融合的工作。

图像：图像这边比较简单，就是直接利用RGB image作为输入进行特征提取；另外，由于后面还增加了一个Depth completion的任务，所以这边还需要增加一个Sparse depth image 作为输入，具体的做法也比较简单：就是把LiDAR投影到图像坐标系下。

Point-wise feature fusion

97ec914db33dbd2094066478cc4bb027.png

这步就是将不同scale下的image feature跟LiDAR BEV feature分别进行Point-wise的特征层融合。这就需要我们能够得到LiDAR BEV跟Image之间pixel-wise的相关关系，这里的对应关系就是参考作者之前的一个工作[2]，不同点在于本文只使用了最近点而不是用KNN去找多个点。大体的流程是这样的：

  1. 对于BEV feature map上的每一个pixel，找到跟它最近的LiDAR point；
  2. 将这个LiDAR point投影到图像坐标系下，得到相应的image feature；
  3. 计算BEV pixel 跟LiDAR point的距离，作为geometric feature；
  4. 将image feature+geometric feature输入到MLP中，得到output；
  5. 将output与BEV feature map进行element-wise的相加；

这里要注意：虽然这里是point-wise fusion，但是其实还是sparse的，这是因为LiDAR points本身就是sparse的。之后的篇幅会解释，如何使用pseudo LiDAR points，提供dense的point-wise fusion。

ROI-wise feature fusion

c859ded6f3db417156426295fa5eed5a.png

ROI-wise fusion 的目的就是要进一步优化box的regression，得到高质量的2d跟3d的detection结果。通过将3D detection分别投影到image跟BEV feature maps上，我们能够得到axis-aligned image ROI以及oriented BEV ROI。

关于image ROI特征提取：我们可以通过ROIAlign[3]来得到相应的image feature。

关于BEV ROI特征提取：这边会存在两个问题：

  1. 在边界容易导致ROI特征出现180度反转的问题。解决的方法就是给oriented ROI分配一个orientation anchor (0或者90度)，每一种anchor都会有固定的特征提取顺序；
  2. 当ROI是有角度的时候，它的中心点其实也会有offset。解决的方法就是得到旋转之后的ROI，并且将它分成n*n的grid，grid中的每个点都采用双线性插值得到特征；

Multi-Tasks Learning

这篇文章跟ContFuse[2]相比，最大的特点就是加入了两个辅助的任务：Ground estimation跟Depth completion.

Ground estimation

Mapping 是自动驾驶非常重要的一个任务，hdmap的构建由于算法复杂度搞，通常来说都是offline的任务。这里之所以online mapping，主要是想减少对offline map的依赖（通常hdmap的数据量非常大），同时也是可以提高系统的鲁棒性。

hdmap涉及的任务非常多，这里只关注道路几何结构信息。作者把这个问题转换成一个回归问题去直接回归地面的高度。这会比plane based parametrization的精度要搞，因为实际的道路很多都是有起伏的，尤其是当我们看比较远的范围的时候。

作者采用的U-Net在LiDAR BEV上预测voxel-wise的地面高度值。得到voxel-wise高度之后，voxel内的point高度都能够确定，接下来就可以生成一个新的LiDAR BEV（z减去ground height）。

关于这部分，我个人认为如果你的hdmap包含了ground height，可能不太需要这一步。

Depth completion

LiDAR 能够提供精准的3D位置信息，但是随着距离扩大，点云会越来越稀疏。Depth completion的目的就是想让LiDAR变得更加dense，具体来讲就是让image上面的每个点都能够有对应的LiDAR point或者pseudo LiDAR point.

这个模块的输出除了RGB image之后，还有sparse depth map(将LiDAR投影到image坐标系，如果没有LiDAR point，值设为0)。RGB跟sparse depth map concate之后一起输入到网络中进行depth的预测。

具体的网络其实也比较简单：image feature map 接两层bilinear up-sampling layer，输出跟图像大小一致的depth map。

有了depth map之后，在point-wise fusion的过程中，能够保证image feature map中的每一个pixel都至少能够在pseudo LiDAR points中找到相应的point。实际中，当存在真实LiDAR point的时候，会跟pseudo LiDAR point特征一起进行融合；当没有真实LiDAR point的时候，则利用pseudo LiDAR point。

Joint Training

训练的过程中，需要有detection labels跟dense depth labels，注意ground estimation没有专门的labels，而是通过3D localization loss来隐式优化的。损失函数的设计也比较直观：

Experiments

贴一下在KITTI上的performance：

2e0c98927499993bbbb6805f0f4e54d1.png

作者还通过一些对比试验，表明辅助任务的学习对于整体性能确实有较大的提升：

f41599cb135910cf9ad2e0053f265f3c.png

最后再贴一些KITTI上的效果图：

9c519a924c53d8a643cc04477bef7b16.png

Conclusion

文章是在ContFuse[2]基础上的一个延展：加了两个额外的任务(ground estimation and depth completion)。个人感觉depth completion还是比较有用的模块，让point-wise fusion变得更加dense，但是实际中，可能比较难的是怎么获取dense depth map labels。另外，个人感觉ground estimation可能不是一个必须的任务，如果hdmap涵盖了这个信息，也许直接用会更简单也更准确。

总体来说，这篇文章不管是最终的结果还是多任务的网络结构设计，对我的启发还是非常大的，之后有机会的话可能会尝试复现这篇文章。

对ContFuse感兴趣的可以移步我的另一篇博客：

仙道菜：Deep Continuous Fusion (Uber'18)​zhuanlan.zhihu.com
578c636799b5cefae51c2b162f11e8a8.png

参考

  1. ^http://www.cs.toronto.edu/~byang/papers/mmf.pdf
  2. ^abcdMingLiang. Deep continuous fusion for multi-sensor 3d object detection. In ECCV,2018.
  3. ^Kaiming He, Georgia Gkioxari, Piotr Dolla ́r, and Ross Gir- shick. Mask r-cnn. In ICCV, 2017
梁浩赞
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
多任务学习(Multi-Task Learning)
禅与计算机程序设计艺术
07-12 345
多任务学习(Multi-Task Learning) Multi Task Learning. 本文目录： 多任务学习的定义及特点 多任务学习的网络结构 多任务学习的损失函数
ImportError: cannot import name ‘is_torch_npu_available‘ from ‘transformers.utils‘解决方案
最新发布
weixin_43178406的博客
01-25 4万+
本文主要介绍了ImportError: cannot import name ‘is_torch_npu_available’ from 'transformers.utils’解决方案，希望能对使用transformers的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
【论文研读】Ultrasound related paper (multi-task, detection)
Always_ease的博客
08-31 307
Less is More: Simultaneous View Classifification and Landmark Detection for AbdominalUltrasound Images Author：Zhoubing Xu,...,Shaohua Zhou idea：提出了一个多任务框架：1)超声视图分类,2)腹部长短抽的landmark detection 网络框架： Encoder：ResNet50。The first convolutional layer is m..
Multi-task learning（多任务学习）简介
MultimediaComputingGroup_blogs
08-07 2万+
1. 什么是Multi-task learning？ Multi-tasklearning （多任务学习）是和single-task learning （单任务学习）相对的一种机器学习方法。拿大家经常使用的school data做个简单的对比，school data是用来预测学生成绩的回归问题的数据集，总共有139个中学的15362个学生，其中每一个中学都可以看作是一个预测任务。单任务学习就是忽
Multi-task Learning
my_god2008的博客
11-30 594
Multi-task learning and its definition Linear MTL Regularisers for linear MTL (Quadratic regulariser, Structured sparsity) Clustered MTL Further topics (Transferring to new tasks)
【论文笔记】多任务学习（Multi-Task Learning）
weixin_34406086的博客
01-08 7170
1. 前言 　　多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。在机器学习领域，标准的算法理论是一次学习一个任务，也就是系统的输出为实数的情况。复杂的学习问题先被分解成理论上独立的子问题，然后分别对每个子问题进行学习，最后通过对子问题学习结果的组合建立复杂问题的数学模型。多任务学习是一种联合学习，多个任务并行学...
pytorch_Realtime_Multi-Person_Pose_Estimation项目学习
qq_51971294的博客
03-09 2341
该文章仅仅记录自己的学习过程，如有问题，请大家指教。
目标检测的Tricks | 【Trick12】分布式训练（Multi-GPU）与DistributedParallel使用相关总结
Clichong
04-23 1571
如有错误，恳请指出。 用这篇博客记录多卡（也就是mutil-gpu）的使用，目的是加快训练过程，在pytorch中称之为分布式训练。在pytorch中主要使用的是DistributedParallel的相关函数来实现分布式训练。 下面就记录一下我设置gpu等方面的一些笔记，比较多的部分是从其他笔记整理而来，详细见参考资料。 文章目录1. 设置可见GPU，进行多显卡深度学习训练2. 一些标志位的设置3. 多卡训练且平均数据DataParallel4. 分布式训练DistributedParallel5. .
torch-geometric:torch_cluster库knn_graph函数详解
噢啦啦耶的博客
04-18 6986
参考资料：https://github.com/zxin1023/pytorch_cluster   今天在阅读一份图神经网络的代码时碰到了knn_graph函数。图神经网络如果使用动态图，通常需要获取节点的k近邻作为邻居节点，这个时候就会用到knn_graph函数了。knn_graph函数并不是torch-geometric自带的，而是torch_cluster库中的函数，这也可以说明为什么安装torch-geometric前需要先安装torch_cluster库。   这里，我从官方手册里搬运knn_g
【Python pytorch问题】安装torch_scatter出现的问题：ModuleNotFoundError: No module named ‘torch_scatter‘
qq_40571009的博客
05-30 7174
问题ModuleNotFoundError: No module named ‘torch_scatter’ 安装torch_scatter出现没有这个模块，所以就安装了一下这个模块 pip install torch_scatter 结果一路飘红，出现以下错误： running bdist_wheel running build running build_py creating build creating build\lib.win-amd64-3.7 creating bu
几篇CVPR关于multi-task的整理
11-02
几篇CVPR关于multi-task的论文笔记整理，包括 一、 多任务课程学习Curriculum Learning of Multiple Tasks 1 --------------^CVPR2015/CVPR2016v--------------- 5 二、 词典对分类器驱动卷积神经网络进行对象检测Dictionary Pair Classifier Driven Convolutional Neural Networks for Object Detection 5 三、 用于同时检测和分割的多尺度贴片聚合（MPA）* Multi-scale Patch Aggregation (MPA) for Simultaneous Detection and Segmentation ∗ 7 四、 通过多任务网络级联实现感知语义分割Instance-aware Semantic Segmentation via Multi-task Network Cascades 10 五、 十字绣网络多任务学习Cross-stitch Networks for Multi-task Learning 15 --------------^CVPR2016/CVPR2017v--------------- 23 六、 多任务相关粒子滤波器用于鲁棒物体跟踪Multi-Task Correlation Particle Filter for Robust Object Tracking 23 七、 多任务网络中的全自适应特征共享与人物属性分类中的应用Fully-Adaptive Feature Sharing in Multi-Task Networks With Applications in Person Attribute Classification 28 八、 超越triplet loss：一个深层次的四重网络，用于人员重新识别Beyond triplet loss: a deep quadruplet network for person re-identification 33 九、 弱监督级联卷积网络Weakly Supervised Cascaded Convolutional Networks 38 十、 从单一图像深度联合雨水检测和去除Deep Joint Rain Detection and Removal from a Single Image 43 十一、 什么可以帮助行人检测？What Can Help Pedestrian Detection? （将额外的特征聚合到基于CNN的行人检测框架） 46 十二、 人员搜索的联合检测和识别特征学习Joint Detection and Identification Feature Learning for Person Search 50 十三、 UberNet：使用多种数据集和有限内存训练用于低，中，高级视觉的通用卷积神经网络UberNet: Training a Universal Convolutional Neural Network for Low-, Mid-, and High-Level Vision using Diverse Datasets and Limited Memory 62 一共13篇，希望能够帮助到大家
【3D目标检测】Multi-Task Multi-Sensor Fusion for 3D Object Detection阅读笔记（2019）
qq_42575422的博客
08-24 1003
1、为什么要做这个研究（理论走向和目前缺陷） ? 多传感器融合向来不是一个简单的事，融合方式设计的不好不但可能不会信息互补，还有可能各传感器的缺点都继承下来，效果更差。 2、他们怎么做这个研究 （方法，尤其是与之前不同之处） ? 做点云和图像的融合。点云利用的是BEV特征和图像特征借助3d点这个中间媒介进行关联，然后把关联上的图像像素点特征加到BEV特征上去，这是稀疏point-wise融合，在特征提取主干网络阶段实现。利用BEV特征预测的3D候选区分别投射到BEV特征图和图像特征图上，得到的BEV roi
Multi task learning（MTL）多任务学习介绍
猪逻辑公园
10-21 1754
1、定义及与其他机器学习任务的区别 1.1 单任务学习与多任务学习 既然要介绍多任务学习，那么就必须要提到与之对应的单任务学习。 我们平时接触最多的那些机器学习算法基本都是单任务学习，即专注于一个学习目标。 如上图所示，有4个独立的神经网络，每个网络针对同样的输入只有一个输出函数（优化目标），这四个网络之间没有任何连接，所以每个网络之间的表示层是独立的，彼此训练的隐层对其他网络的训练没有任...
多任务学习 (Multitask Learning) 汇总
CarpeDiem
10-10 1万+
本篇主要综合网上博客关于多任务学习的资料， 包括参数硬共享机制和软共享机制，多任务学习为什么有效，以及传统方法和深度学习中使用的多任务，最后引入辅助任务并对比于其他算法的关系。
多任务学习-Multitask Learning概述
喜欢打酱油的老鸟
05-07 9180
2020-02-22 09:59:48 1、单任务学习VS多任务学习 单任务学习：一次只学习一个任务（task），大部分的机器学习任务都属于单任务学习。 多任务学习：把多个相关（related）的任务放在一起学习，同时学习多个任务。 多任务学习（multitask learning）产生的原因？ 获取最新消息链接：获取最新消息快速通道 - lqfarmer的博客 - 博客频道 - CSD...
【多任务学习-Multitask Learning概述】
derder的博客
12-08 3848
多任务学习-Multitask Learning概述
Multi task learning多任务学习背景简介
喜欢打酱油的老鸟
06-17 1080
2020-06-16 23:22:33 本篇文章将介绍在机器学习中效果比较好的一种模式，多任务学习（Multi task Learning，MTL）。已经有一篇机器之心翻译的很好的博文介绍多任务学习了： 共享相关任务表征，一文读懂深度神经网络多任务学习，写的非常详细，但是我在看的时候会觉得略有点晦涩。所以我准备写的这篇呢，想用大白话介绍一下多任务学习解决的问题是什么，具体是怎么做的，有哪些优势。并且这篇博文中不准备写相关paper的总结和简介。 接下来从以下几个方面介绍MTL： 定义及与其他机器学习任
torch_points_kernels安装失败subprocess-exited-with-error
12-12
根据提供的引用内容，可能出现torch_points_kernels安装失败subprocess-exited-with-error的原因是由于缺少依赖项或者CUDA版本不兼容。以下是一些可能的解决方案： 1. 确保已经安装了正确版本的CUDA和cuDNN，并且已经将它们添加到了环境变量中。可以通过以下命令检查CUDA版本： ```shell nvcc --version ``` 2. 确保已经安装了正确版本的PyTorch和torchvision。可以通过以下命令检查PyTorch和torchvision版本： ```python import torch import torchvision print(torch.__version__) print(torchvision.__version__) ``` 3. 确保已经安装了正确版本的GCC和G++。可以通过以下命令检查GCC和G++版本： ```shell gcc --version g++ --version ``` 4. 确保已经安装了正确版本的Boost库。可以通过以下命令检查Boost库版本： ```shell dpkg -l | grep libboost ``` 如果以上解决方案都无法解决问题，可以尝试以下步骤： 1. 升级pip版本： ```shell pip install --upgrade pip ``` 2. 清除pip缓存： ```shell pip cache clear ``` 3. 重新安装torch_points_kernels： ```shell pip install torch_points_kernels ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值