图像点云数据融合方法汇总

点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

c80c46bbc669c005a73a74da314590cc.png

作者丨eyesighting@知乎

来源丨https://zhuanlan.zhihu.com/p/422935212

编辑丨3D视觉工坊

多传感器融合—综述

检索主页:arxiv.org

检索时间:2021.10.08

1、用于多传感器3D目标检测的深度连续融合:https://arxiv.org/abs/2012.10992

2、用于自动驾驶汽车导航和测绘的多传感器融合:https://arxiv.org/abs/2103.13719

3、用于3D目标检测的多任务多传感器融合:https://arxiv.org/abs/2012.12397

4、自动驾驶中图像和点云融合的深度学习:https://arxiv.org/abs/2004.05224

5、自动驾驶中的多模态3D目标检测:https://arxiv.org/abs/2106.12735

6、多任务多传感器融合目标检测:https://openaccess.thecvf.com/content_CVPR_2019/html/Liang_Multi-Task_Multi-Sensor_Fusion_for_3D_Object_Detection_CVPR_2019_paper.html

多传感器融合—论文

检索主页:arxiv.org

检索关键词:image point cloud fusion

检索时间:2021.10.08

1、用于自动驾驶的多视图 3D 目标检测网络:https://arxiv.org/abs/1611.07759

2、一种多莫泰 3D 环境学习方法融合:https://arxiv.org/abs/1705.08624

3、无需辅助物体或人为干预的 3D 测距仪和相机的外部校准:https://arxiv.org/abs/1703.04391

4、融合鸟瞰 LIDAR 点云和前视摄像头图像用于深度物体检测:https://arxiv.org/abs/1711.06703

5、来自视图聚合的联合 3D 建议生成和对象检测:https://arxiv.org/abs/1712.02294

6、使用伪连体 CNN 识别 SAR 和光学图像中的相应补丁:https://arxiv.org/abs/1801.08467

7、一种融合异构数据源的新方法:https://arxiv.org/abs/1803.00138

8、使用置信度预测的优先多视图立体深度图生成:https://arxiv.org/abs/1803.08323

9、使用传感器融合测距法估计运动的 LiDAR 和相机校准:https://arxiv.org/abs/1804.05178

10、使用全卷积神经网络进行道路检测的相机与雷达融合:https://arxiv.org/abs/1809.07941

11、具有 RGB 引导和不确定性的稀疏和嘈杂的 LiDAR 完成:https://arxiv.org/abs/1902.05356

12、通过用于自动驾驶的彩色嵌入 3D 重建进行准确的单目目标检测:https://arxiv.org/abs/1903.11444

13、LATTE:通过传感器融合、一键注释和跟踪加速 LiDAR 点云注释:https://arxiv.org/abs/1904.09085

14、使用 Image-LiDAR 数据融合进行道路分割:https://arxiv.org/abs/1905.11559

15、基于RGB和LiDAR融合的自动驾驶3D语义分割:https://arxiv.org/abs/1906.00208

16、用于精确密集 3D 重建的 LiDAR-Camera Fusion 联合优化方法:https://arxiv.org/abs/1907.00930

17、LiDARTag:点云的实时基准标签系统:https://arxiv.org/abs/1908.10349

18、MLOD:一种基于鲁棒特征融合方法的多视角3D物体检测:https://arxiv.org/abs/1909.04163

19、用于 3D 场景理解的多视图 PointNet:https://arxiv.org/abs/1909.13603

20、基于目标的 3D LiDAR 相机校准的改进:https://arxiv.org/abs/1910.03126

21、用于 3D 目标检测的多模态局部特征的自适应和方位角感知融合网络:https://arxiv.org/abs/1910.04392

22、PI-RCNN:一种高效的多传感器 3D 目标检测器,具有基于点的注意力集中 Cont-conv 融合模块:https://arxiv.org/abs/1911.06084

23、PointPainting:用于 3D 对象检测的顺序融合:https://arxiv.org/abs/1911.10150

24、FusionMapping:使用单目图像和 2D 激光扫描学习深度预测:https://arxiv.org/abs/1912.00096

25、结构化环境点云中基于线的相机姿态估计:https://arxiv.org/abs/1912.05013

26、SelectFusion:选择性学习多感官融合的通用框架:https://arxiv.org/abs/1912.13077

27、ImVoteNet:使用图像投票提升点云中的 3D 对象检测:https://arxiv.org/abs/2001.10692

28、在自动驾驶中利用不确定性进行深度多模态物体检测:https://arxiv.org/abs/2002.00216

29、MANet:用于 3D 形状识别的基于多模态注意力网络的点视图融合:https://arxiv.org/abs/2002.12573

30、HVNet:用于基于 LiDAR 的 3D 对象检测的混合体素网络:https://arxiv.org/abs/2003.00186

31、语义传感器融合:从相机到稀疏激光雷达信息:https://arxiv.org/abs/2003.01871

32、FusionLane:使用深度神经网络进行车道标记语义分割的多传感器融合:https://arxiv.org/abs/2003.04404

33、BiFNet:用于道路分割的双向融合网络:https://arxiv.org/abs/2004.08582

34、查看来自多个深度传感器的不变人体检测和姿势估计:https://arxiv.org/abs/2005.04258

35、用于 3D 对象检测的立体 RGB 和更深的基于激光雷达的网络:https://arxiv.org/abs/2006.05187

36、深度多模态融合网络在复杂环境下的自主导航:https://arxiv.org/abs/2007.15945

37、EPNet:使用图像语义增强点特征以进行 3D 对象检测:https://arxiv.org/abs/2007.08856

38、跨模态 3D 对象检测:https://arxiv.org/abs/2008.10436

39、RoIFusion:来自 LiDAR 和视觉的 3D 目标检测:https://arxiv.org/abs/2009.04554

40、用于自动驾驶汽车联合目标检测和距离估计的雷达-相机传感器融合:https://arxiv.org/abs/2009.08428

41、MAFF-Net:使用多模态自适应特征融合过滤 3D 车辆检测的误报:https://arxiv.org/abs/2009.10945

42、SemanticVoxels:使用 LiDAR 点云和语义分割进行 3D 行人检测的顺序融合:https://arxiv.org/abs/2009.12276

43、位移传感器汽车雷达成像:https://arxiv.org/abs/2010.04085

44、AGNO-RPN:用于分辨率不可知检测的 LIDAR-Camera 区域深度网络:https://arxiv.org/abs/2012.05740

45、FPS-Net:用于大规模激光雷达点云分割的卷积融合网络:https://arxiv.org/abs/2103.00738

46、处理表示:关于多模态语义的图像、点云和网格之间的信息传递:https://arxiv.org/abs/2103.07348

47、3D-FFS:在基于传感器融合的网络中使用聚焦视锥搜索更快的 3D 对象检测:https://arxiv.org/abs/2103.08294

48、对用于 3D 汽车检测的 Camera-LiDAR 模型的对抗性攻击:https://arxiv.org/abs/2103.09448

49、体积传播网络:用于远程深度估计的立体激光雷达融合:https://arxiv.org/abs/2103.12964

50、RPVNet:用于激光雷达点云分割的深度高效的距离-点-体素融合网络:https://arxiv.org/abs/2103.12978

51、MinkLoc++:用于地点识别的激光雷达和单目图像融合:https://arxiv.org/abs/2104.05327

52、视图引导的点云补全:https://arxiv.org/abs/2104.05666

53、传感器融合在未来车载网络中对目标检测的作用:https://arxiv.org/abs/2104.11785

54、了解您的环境:通过多模态协作进行全景多对象跟踪:https://arxiv.org/abs/2105.14683

55、FusionPainting:具有自适应注意力的多模态融合,用于 3D 对象检测:https://arxiv.org/abs/2106.12449

56、用于 3D LiDAR 语义分割的感知感知多传感器融合:https://arxiv.org/abs/2106.15277

57、用于 3D 语义分割的相似性感知融合网络:https://arxiv.org/abs/2107.01579

58、用于 3D 目标检测的多模态任务级联:https://arxiv.org/abs/2107.04013

59、无人机多模态实时语义融合:https://arxiv.org/abs/2108.06608

60、LIF-Seg:用于 3D LiDAR 语义分割的 LiDAR 和相机图像融合:https://arxiv.org/abs/2108.07511

61、MBDF-Net:用于 3D 对象检测的多分支深度融合网络:https://arxiv.org/abs/2108.12863

62、使用 BEV 投影进行高效的城市规模点云分割:https://arxiv.org/abs/2109.09074

本文仅做学术分享,如有侵权,请联系删文。

3D视觉精品课程推荐:

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线!(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建:原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM:基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法:算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼)

13.重磅!四旋翼飞行器:算法与实战

重磅!3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

cd180a8069545d8a83038434359244ad.png

▲长按加微信群或投稿

5064d59ecd226a6975988c88630aa94b.png

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定激光/视觉SLAM自动驾驶等)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近4000星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

2c6e475fc47485f7fd7fee445a1a96fb.png

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用,麻烦给个赞和在看~  

### 回答1: 点云数据融合是指将多个点云数据集合并成一个更大的点云数据。在MATLAB中,实现点云数据融合需要使用PointCloud Toolbox工具包。该工具包提供了许多用于点云处理和分析的函数。 在点云数据融合过程中,需要考虑以下几个方面: 1. 数据格式:不同的点云数据格式可能不同,需要将它们转换为同一格式才能进行融合。PointCloud Toolbox提供了许多函数用于加载和转换不同格式的点云数据。 2. 数据点的重合度:重合的数据点需要合并,否则会导致重复计算。可以使用voxelGridFilter函数对点云数据进行下采样,减少重复点的数量。 3. 坐标系的一致性:不同的点云数据可能使用不同的坐标系,需要将它们统一到同一坐标系下。可以使用pcmerge函数对点云进行融合并统一坐标系。 4. 融合算法:不同的融合算法会影响融合结果的精度和效率。PointCloud Toolbox支持多种点云数据融合算法,例如Kd-tree、Octree等。 点云数据融合在机器人感知、自动驾驶、建筑测绘等领域中应用广泛。MATLAB的PointCloud Toolbox提供了丰富的函数和工具,可以帮助用户实现高效准确的点云数据融合。 ### 回答2: 点云数据融合是指将多个采集的点云数据集合并成一个点云,以提高点云数据的完整性和精度。Matlab作为一种强大的科学计算软件,可以通过其图像处理工具箱和计算机视觉工具箱实现点云数据融合。 Matlab中常用的点云融合方法包括:基于ICP(Iterative Closest Point)的点云配准、基于轮廓的点云匹配和基于光流的点云融合等。 ICP方法是一种常用的点云配准方法,它通过不断优化点云之间的对应关系,最终获得高精度的点云配准结果。在Matlab中可以使用pcmerge函数实现点云融合,该函数可以利用ICP算法实现点云的自动配准和融合。 基于轮廓的点云匹配方法是利用点云的投影信息进行匹配的一种方法。Matlab中可以通过将点云转化为二维的轮廓图像,然后使用图像处理工具箱中的函数进行轮廓匹配,最终实现点云融合。 基于光流的点云融合方法是利用点云之间的运动关系进行匹配的一种方法。在Matlab中可以使用opticalFlow函数计算点云之间的光流场,然后利用该光流场进行点云的匹配和融合。 总之,利用Matlab可以方便地实现点云数据融合,提高点云数据的精度和完整性。 ### 回答3: MATLAB是一种常用的数据处理和分析工具,可以用于点云数据融合点云数据指的是由3D扫描设备获取的点云模型,每个点包含x、y、z三个坐标值和对应的颜色信息。点云融合指的是将多个点云模型合并为一个更完整的模型。 在MATLAB中,可以使用点云处理工具箱(PointCloudProcessing Toolbox)来处理点云数据。首先,需要将多个点云数据导入到MATLAB中,并对其进行预处理,确保它们的坐标系统一致。这可以通过使用点云处理函数(如pcmerge)来实现。 接下来,可以使用点云配准(point cloud registration)算法将多个点云数据配准到同一坐标系中。一般来说,这需要计算每个点云之间的变换矩阵,并将其应用于每个点云中的所有点。配准算法可以使用MATLAB中的点云配准工具箱(Point Cloud Registration Toolbox)来实现。 最后,可以使用点云合并算法将多个配准后的点云数据合并为一个更完整的点云模型。这可以使用MATLAB中的点云处理函数(如pcmerge)来实现。 总之,MATLAB是一个强大的点云数据处理工具,可以用于点云数据融合和处理。通过使用点云处理工具箱和点云配准工具箱,可以将多个点云数据合并为一个更完整的模型,进一步实现对点云数据的分析和应用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值