MVX-Net: Multimodal VoxelNet for 3D Object Detection

最新推荐文章于 2024-01-29 14:13:51 发布
最新推荐文章于 2024-01-29 14:13:51 发布
阅读量1.2k 收藏 10
点赞数 1
文章标签： 目标检测 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39791748/article/details/125947352
版权

请添加图片描述
论文
代码

问题以及创新点

同样是在VoxelNet的基础上做了进一步改进

问题

  1. 直接3D点云的方法，对资源要求比较高
  2. RGB图像具有更丰富的特征，但在预测深度等存在精度较差的问题
  3. 当前融合的方法，多是在后期融合，是得场景融合收到限制

创新点

  1. 融合RGB以及点云进行综合的检测
  2. 在网络早期进行特征融合

网络架构

整个网络走了两个不同的pipeline，一部分通过Faster-RCNN提取RGB特征信息，另一方面通过VoxelNet提取3D点云特征。并且提出了两种点云融合的方法，PointFusion以及VoxelFusion。

PointFusion

请添加图片描述
PointFusion 针对voxel中每个点进行特征融合，在原始每个点7维特征 ( x i , y i , z i , r i , x i − v x , y i − v y , z i − v z )

最低0.47元/天 解锁文章
&相守年华。
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
VoxelNet-tensorflow：用于自动驾驶的3D对象检测系统
02-06
VoxelNet-张量流 一个tensorflow实施 。 需求 Python 3.5+ tensorflow 1.4+ NumPy等 用法 看一下config.py的模型配置，通过将数据拆分为测试/训练集。 运行setup.py来构建Cython模块。 $ python setup.py build_ext --inplace 确保您的工作目录如下所示（某些文件被省略）： ├── build <-- Cython build file ├── model <-- some src files ├── utils <-- some src files ├── setup.
MVX-Net Multimodal VoxelNet for 3D Object Detection 论文学习
calvinpaean的博客
07-18 587
下图是 MVX-Net VoxelFusion 方法，使用预先训练好的 2D Faster RCNN 计算图像特征图，RPN 和 RCN 并不用于 3D 推理流程。使用标定参数将 3D 点投影到图像，把对应的图像特征添加到 3D 点的后面。随后，VFE 层和 3D RPN 处理聚合后的特征，输出 3D 结果。然后利用标定参数，将每个 3D 点投影到图像上，将投影位置索引的特征添加到该点的后面。都通过 VFE 层（一个全连接网络）变换到特征空间，聚合 3D 点特征的信息，编码体素内的表面形状。
MVX-Net | 多模型三位像素网络用于3D目标检测
gzq0723的博客
12-23 3776
上周应该是很多考生难忘的日子，那就是一年一度的考研日，相信很多同学准备了一年都会有好的收获，去理想的大学读研，更希望你们可以加入“计算机视觉战队”，和我们一起来学习人工智能的CV领域，共...
[论文阅读]MVX-Net——基于3D目标检测的多模态VoxelNet
热门推荐
qq_53909832的博客
10-04 1万+
MVX-Net论文阅读
MVX-Net论文解读
sky_1305995351的博客
11-24 1257
MVX-Net论文解读
mvx-custom-binding：简单的MvvmCross自定义数据绑定示例
02-03
首先，"mvx-custom-binding"项目是针对MvvmCross的一个实践，它展示了如何为Android平台创建一个自定义的数据绑定。在MVVM模式中，数据绑定是连接视图与模型的核心机制，它允许开发者无需手动操作UI元素，就能实现...
mvx-scaffolding：:building_construction_selector:可定制的模板，用于搭建跨平台的MvvmCross应用程序
02-03
3因素脚手架 扩展到 模板功能 产品特点 混合的 mvxforms * * * * 单元测试项目 * * UI测试项目 * * 解决方案 * * Android牛轧糖圆形图标 * * Android Oreo自适应图标 * * Android支持约束布局 ...从
InteractiveAlert-Xamarin：对Xamarin的交互式警报
02-06
Xamarin的互动警报跨平台库，允许您从共享/便携式库中调用交互式警报。...OR InteractiveAlerts.Init(() => provide your own top level activity provider)OR MvvmCross - InteractiveAlerts.Init(() => Mvx.Resolv
MvvmCross-Dreams：Xamarin MvvmCross梦想是如何制作MvvmCross应用程序的自以为是的观念
02-03
Xamarin Mvvm跨梦 Xamarin MvvmCross DREAMS是关于如何制作MvvmCross应用程序的自以为是的观点。 如果您有任何意见，疑虑，批评或想法，请提出问题（或提出要求：D） 无需再担心命名约定，PCL配置文件，Android...
type-mvc：Decorator，Ioc，AOP MVC框架程序，基于koa
02-03
打包@ mvx / mvc 该仓库在npm分发。 该模块的源代码位于。 @mvx/mvc是Decorator，Ioc，AOP MVC框架制定者。 基于ioc 。 帮助您轻松地开发项目。 安装 您可以使用npm安装此软件包 npm npm install @mvx/mvc 安装...
MVX-Net: PointFusion 在mmdetection3d中的实现
weixin_38362784的博客
01-19 3000
MVX-Net网络中PointFusion与VoxelFusion在mmdetection3d中的实现
综述：自动驾驶中的多模态 3D 目标检测
学习记录
07-18 2589
论文笔记：《Multi-modal 3D Object Detection in Autonomous Driving: A Survey and Taxonomy》
MV3D -- 3D proposal 网络
博观而约取，深研而广求
09-25 3277
3D proposal 网络实际上3D proposal network就是2D proposal的升维，从实现来看，本质思想完全没有变化。然而实际上第一步得到的3D proposal是通过M+2个投影后的鸟瞰图得到的，这一部分理解起来较难。 Given a bird’s eye view map. the network generates 3D box proposals from a set
3D object detection 论文、代码和数据集汇总
如果想成为中心，那么就到中心去吧。
08-11 1472
code:摘要： 三维目标检测因其在各个领域的广泛应用而越来越受到业界和学术界的关注。在本文中，我们提出了基于点体素区域的卷积神经网络(PV-RCNNs)用于从点云进行三维目标检测。首先，我们提出了一种新的三维检测器，PV-RCNN，它包括两个步骤：体素到关键点的场景编码和关键点到网格的RoI特征抽象。这两步将三维体素CNN与基于pointnet的集抽象深入集成，以提取鉴别特征。其次，我们提出了一个先进的框架，PV-RCNN++，用于更高效和准确的三维目标检测。......
多模态3D目标检测（Kitti数据集）
最新发布
m0_74835123的博客
01-29 532
由于3D传感器（激光雷达等）的兴起，点云数据库逐渐完备，这也引起人们对点云数据处理技术的探究。尽管2D目标检测工作基于CNN的帮助下趋于成熟，但由于输入模式不同，2D目标检测技术并不能直接用于3D目标检测。同时，目前已有的3D目标检测技术（VoxelNet等）存在算力及内存成本高，仅适用于单一模态（点云）等缺点。因此，人们在VoxelNet的基础上提出了MVX-Net，利用PointFusion或VoxelFusion对多模态信息进行早期融合。
论文阅读：综述 Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Review 自动驾驶中图像和点云融合
qq_53086461的博客
10-30 1878
1、到目前为止，还没有针对基于深度学习的摄像机-激光雷达融合方法的重要评论。为了弥合这一差距并激励未来的研究，本文致力于回顾最近利用图像和点云的基于深度学习的数据融合方法。2、图像+点云的数据处理 的深度学习：深度补全、目标检测、语义分割和跟踪。
深度学习基于摄像头和激光雷达融合的3-D目标检测
qq_33287871的博客
07-03 6401
论文地址：https://arxiv.org/abs/2004.03080 源码地址：https://gitee.com/long_xiao_wyh/pseudo-LiDAR_e2e 以前在传感器融合讲过数据级的融合（深度图）和任务级的融合（比如检测），大家有时候讨论前融合和后融合的区别，或者是一种中间层融合。提到过的摄像头和激光雷达在目标检测任务的融合方法，有AVOD、PointFusion、RoarNet和F-PointNets等。这里列出一些论文讨论。 “MLOD: A multi-view 3D o
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection(VoxelNet模型)
hit1524468的专栏
04-20 6346
      图2.3.1 高效实现总概括
VoxelNet：End-to-End Learning for Point Cloud Based 3D Object Detection阅读笔记
qq_29462849的博客
02-11 1145
前言 本文首发于公众号【3D视觉工坊】，原文请见VoxelNet阅读笔记 主要思想和创新点 三维点云中目标的精确检测是许多应用中的核心问题，如自主导航、管家机器人和增强/虚拟现实等。为了将高度稀疏的激光雷达点云与区域建议网络（RPN）连接，大多数现有的工作都集中在手工制作的特征表示上，例如，鸟瞰图投影。 这项工作消除了人工特征工程对三维点云的需求，提出了VoxelNet，一种将特征提取和box预测...
mvx = zeros(height/N,width/N); mvy = zeros(height/N,width/N); for i = 1 : N : height - N + 1 % for every block in the anchor frame : height for j = 1 : N : width - N + 1 % for every block in the anchor frame : width MAD_min = 256 * N * N; stepsize = stepMax; x = i; y = j; while (stepsize >= 1) for k = -stepsize : stepsize : stepsize for kk = -stepsize : stepsize : stepsize % for every search candidate xBlock = x + k; yBlock = y + kk;
07-11
这段代码是运动估计中的一个循环，用于计算每个参考块的运动矢量（mvx和mvy）。下面是对代码的解释： 1. 初始化mvx和mvy为全零矩阵，大小为(height/N, width/N)，其中N是指定的块大小。 2. 使用两个嵌套的循环遍历...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值