3D视觉工坊

转载 NeurlPS'23 | 第一个协作神经隐式SLAM！（浙大NICE-SLAM团队最新力作）

作者：泡椒味的口香糖 | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf链接这里给大家推荐下SLAM微信群，扫码入群，方便大家沟通交流：1. 笔者个人体会NeRF最近有多火不必多说，NeRF SLAM最近也有很多进展，但主要工作都集中在建图上，定位精度很大程度上都不如传统SLAM，关键在于NeRF SLAM不好引入回环检测和全局优化。但如果把NeRF地图转换为离散的...

原创 香港大学最新提出！实现超现实的人类图像生成：HyperHuman

作者：历飞雨 | 来源：3DCV在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvision，备注：三维重建，拉你入群。文末附行业细分群1、导读尽管大规模文本到图像模型取得了重大进展，但实现超现实的人类图像生成仍然是一项理想但尚未解决的任务。现有模型（例如稳定扩散和DALL·E2）往往会生成部分不连贯或姿势不自然的人体图像。为了应对这些挑战，我们的主要见解是，...

原创 北大师兄聊一聊基于深度学习的三维重建方法

2019年4月15日下午6时50分左右，一场大火席卷了法国巴黎圣母院，持续长达14小时。幸而巴黎圣母院有着高分辨率的3D模型，研究人员可以了解圣母院本身的建造结构，以便修复工程的开展。多视图立体几何（Multi-View Stereo，MVS）是计算机视觉中重要的研究领域，也是迈入三维计算机视觉研究的重点问题。它通过利用多张互相重叠的图像恢复出原始三维场景的几何结构和纹理信息，是现实中拍摄照片的逆...

原创 NeurlPS‘23开源 | 动态场景下的自监督单目深度估计

作者：泡椒味的口香糖 | 来源：计算机视觉工坊在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf、官方主页、代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群0. 笔者个人体会自监督单目深度估计的训练可以在大量无标签视频序列来进行，训练集获取很方便。但问题是，实际采集的视频序列往往会有很多动态物体，而自监督训练本身就是基于静态环境假设，动态环境下会失效。...

转载 自动驾驶技术的进化：从SLAM+DL到BEV+Transfomrer

作者：匡吉来源：深蓝AI自动驾驶技术在20世纪初的概念和实验主要集中在车辆自动化和遥控方面。到了20世纪80年代和90年代，随着计算机技术和人工智能的发展，自动驾驶技术开始取得显著进展。这一时期，一些大学和研究机构开始开发原型车辆，能够在特定条件下实现自动驾驶。进入21世纪，自动驾驶技术迎来了快速发展期。随着传感器、算法、计算能力和大数据技术的进步，多家科技公司和汽车制造商开始投入巨资研发自动驾驶...

转载 全世界都在等华为开奖。。

来源：公子龙最近无论是在公众号还是B站后台，都能看到一些读者询问华为什么时候开奖，我的回答都很统一，稳住别急，急也没用，去年华为开奖也是很晚，拖了很久。体量庞大的华为是每年计算机校招生的大救星，关注它动态的人非常多，很多人就靠华子的offer来上岸了。目前其他的企业，这几年有迹象能够达到这种程度的，我只看到了比亚迪，迪子这几年招人很猛，去年招了几万应届生。本周四23号华为终于开始offer cal...

转载 重磅直播！基于Grpah Transformer的在线3D多目标追踪

直播主题基于GrpahTransformer的在线3D多目标追踪主讲嘉宾丁舒啸博士德国梅塞德斯-奔驰研发部场景感知组与波恩大学CV组联合培养博士生；主要研究方向为图神经网络在自动驾驶中的应用，研究涵盖基于图神经网络的目标检测、目标追踪、端到端感知系统等。直播内容3D视觉工坊平台矩阵大家有特别想了解的，可以提前在底部留言，直播间老师会重点关注解答。...

转载 字节员工薪资遭泄露，168w

来源：序木当目标太过远大，就失去了激励的作用。人往往只会对和自己差不多的人，过得比自己好这件事，耿耿于怀；反而，对那些比自己好很多的人，同时，过得也比自己好很多的人，毫无嫉妒之心。还有，人通常会对自己身边、过得比自己好的人，产生嫉妒之心，而对陌生人、过得比自己好，不那么敏感。有一个例子，乞丐并不会嫉妒富翁，但一定会嫉妒收入比自己高的乞丐。原因在于，人类是视觉动物。只在意眼前看见的、正在发生的事。身...

原创 多伦多大学最新提出在现实感传感器模拟中的野外物体重建

作者：小柠檬 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群1、导读传感器模拟是计算机图形学中的一个重要研究领域，它可以用于虚拟现实、游戏开发、自动驾驶等应用中。然而，现有的传感器模拟方法往往无法准确地重建野外环境中的物体，因为这些物体具有复杂的形状和纹理，并且受到光照和遮挡的影响。因此...

原创 澳大利亚国立大学最新提出短短5秒内从单个输入图像预测对象的3D模型

作者：小柠檬 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群1、导读已有的三维重建方法通常需要多张图像或深度传感器的输入来获取三维信息，但这限制了其在实际应用中的使用。因此，研究人员提出了使用单张图像进行三维重建的方法，这对于许多实际场景非常有用。本文提出了一种名为LRM的大型重建模型，...

原创 ICLR 2024最新开源！协同多视图和跨模式对比学习以增强3D表示：MIXCON3D

作者：巴巴塔 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群1、导读由于3D数据获取成本高昂，现有的3D数据集的多样性和复杂性有限。为了解决数据稀缺的问题，最近的研究开始利用训练良好的2D基础模型来学习3D形状。这些方法主要建立在CLIP模型的基础上，通过训练大规模的图像-文本对来学习知...

原创 英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！

作者：巴巴塔| 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群1、导读神经辐射场渲染是一种用神经网络表示场景的方法，可以生成逼真的新视角图像。然而，神经辐射场渲染的计算复杂度较高，导致训练和推理速度较慢。因此，本文旨在提出一种自适应外壳（Adaptive Shells）的方法，以加速神经辐...

原创 国家重点智能研究院联合清华北大提出透视未来的单视图3D场景重建

作者：小柠檬 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群1、导读传统的三维重建方法通常需要多个视角的图像或使用深度传感器等设备来获取场景的几何和纹理信息。然而，这些方法存在一些限制，如需要大量的输入数据、设备依赖性和成本高昂。因此，研究人员开始探索如何从单个视角的图像中重建出高保真度...

原创 RAL2023 港大开源！基于分层激光雷达集束调整的一致性建图

作者：敖丙 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：NeRF SLAM，拉你入群。文末附行业细分群0. 笔者总结为了保证激光SLAM的建图质量，通常有两种策略：基于图优化的方式、基于BA的方式。图优化中由于相对约束的误差和不精确建模，位姿图优化可能陷入局部最优，使得地图一致性较差。BA在大尺度建图中的计算量太大，计算...

转载 重磅！面结构光三维重建高阶实践班（C++），涉及HDR高动态算法、高速结构光、非线性畸变校正等...

这里给大家推荐下结构光微信群，扫码入群，方便大家沟通交流：如果你需要学习了结构光课程，需要1-2年项目经验、直接可以落地，3D视觉工坊联合课程讲师天涯居士推出 [面结构光三维重建：高阶实践班（C++）]，小班化教学，推荐以下同学报名：在读大三/研二，明年即将毕业的同学：可以有时间完整地学习这一技术（因为找工作，还需要刷数据结构，因此最好是预留出足够的时间，顺带刷数据结构）。相关行业转行：3D结构光...

转载 ROS 2.0时代，Navigation2的开创性导航技术揭秘

近年来，自主移动机器人与自动驾驶持续火热。自主移动机器人在越来越多的行业得以落地，在提升效率，节省人力成本，提高作业安全性等方面做出巨大贡献。自动驾驶也在迅速发展，越来越多的汽车标配自动泊车功能，新势力车企更是纷纷推出城市自动驾驶，高阶辅助驾驶。这其中都离不开关键技术的发展，决策，规划与控制就是其中的核心技术之一。由于需求旺盛，相关岗位待遇也是水涨船高。然而，由于专业特性，规划与控制涉及的内容非常...

原创 CVPR 2023！自动Transdecoder神经坐标映射用于相机定位：NeuMap

作者：小张Tt | 来源：3DCV在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接这里给大家推荐下SLAM微信群，扫码入群，方便大家沟通交流：本文介绍了一种用于相机定位的端到端神经映射方法NeuMap。NeuMap通过使用可学习的潜在编码和基于Transformer的自动解码器来编码整个场景并回归查询像素的3D坐标。相比于当前的特征匹配方法和坐标回归方法，NeuMap能够在保...

转载 大模型时代下，算力不够，如何破局？

专家面对面：算力方案闭门研讨会活动背景：算力吃紧的情况下，如何以有限预算破局活动时间：2023年11月28日（周二）14:00-16:00活动主题：专家面对面闭门座谈会，讨论问题与解决之道席位有限预定从速...

转载 高效学习3D视觉三部曲

高效学习3D视觉三部曲第一步 加入行业交流群，保持技术的先进性目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：[工业3D视觉]相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光...

转载 MIT中国博士离世，外媒报道自杀，但疑似与实验室事故有关

本文募格学术整理自外媒新闻、小红书、华人生活网等。11 月 15 日，根据多家媒体报道，麻省理工学院（MIT）的中国博士生辛天思（Tiansi Xin）在做实验后不幸离世。辛天思的去世消息让麻省理工学院社区，特别是中国留学生群体感到震惊和悲伤。麻省理工学院校长 Sally Kornbluth 在一封给全校师生的内部邮件中证实了这一消息。她在邮件中表示：" 我怀着无比悲痛的心情告诉大家，化学专业五年...

原创 NGEL-SLAM：浙大、华为最新SOTA！又快又稳！

作者：大森林 | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf链接添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群1. 笔者总结神经隐式表示已经成为提供密集几何信息的同时定位与地图构建（SLAM）的一种有前途的解决方案。然而，现有的这方面的方法在全局一致性和低延迟方面存在不足。本文提出了NGEL-SLAM来解决上述挑战。为了保证全局一致性...

转载 招募主讲老师！涉及NeRF、激光雷达感知、BEV、语义SLAM、Halcon 3D等

原创 爆火！提升92%！One-2-3-45++来了：快速将单图像转为3D模型！

作者：泡椒味的口香糖 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群笔者个人体会最近单图像/文本转换成3D模型真的好火啊，各种各种的方案和模型层出不穷，确实感叹CV领域的进展得按天来计算了。最近，之前爆火的图像到3D方案One-2-3-45又推出了升级版One-2-3-45++，全面提升...

原创 IROS‘23开源,nuScenes跟踪第一!无需学习的超强多目标跟踪！

作者：泡椒味的口香糖 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群笔者个人体会多目标跟踪的作用是获取目标在整个图像/LiDAR序列上的完整轨迹和状态，这两年在SLAM、导航、规划任务上应用很多。多目标跟踪的基本框架就是预测+关联，很多MOT使用学习方法进行预测，但是计算量很大。实时方法...

原创 重大突破！斯坦福大学提出一种单阶段方法，在30秒内实现高质量文本到3D生成和单图像重建...

作者：巴巴塔 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群1、导读我们提出了一种基于多视图图像扩散的去噪方法，可以通过少量的多视图图像来生成高质量的3D模型。该方法利用了大型Transformer模型，可以从噪声图像中重建出无噪声的3D模型，并且可以在任意视角上进行渲染。该方法还支持文...

原创 CMU&斯坦福最新开源：零样本开放词汇跟踪！竟然还不需要训练？

作者：泡椒味的口香糖 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群0、笔者个人体会视频目标跟踪已经有很多相关工作了，但是往往都只能跟踪预定义目标。实际工程落地很容易出现新的跟踪目标，每出现不同目标就重新训练的话，成本就太高了。所以zero-shot、one-shot、few-shot等...

原创 SCI ROBOT 2023 港大开源 | 一种用于自主导航的具有扩展传感器视场的自旋转单驱动无人机...

作者：敖丙 | 来源：计算机视觉工坊在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf及支撑材料、代码链接添加微信：dddvisiona，备注：无人机，拉你入群。文末附行业细分群0. 笔者总结无人驾驶飞行器（UAV）在各种现实应用中发挥着越来越重要的作用，例如搜索和救援、洞穴勘测、建筑测绘和考古勘探。为了满足这些应用中的任务要求，自定位、环境测绘和避障的能力是关键。这些能力通常基于无人...

转载 机器人路径规划，从DWA到DWB

近年来，自主移动机器人与自动驾驶持续火热。自主移动机器人在越来越多的行业得以落地，在提升效率，节省人力成本，提高作业安全性等方面做出巨大贡献。自动驾驶也在迅速发展，越来越多的汽车标配自动泊车功能，新势力车企更是纷纷推出城市自动驾驶，高阶辅助驾驶。这其中都离不开关键技术的发展，决策，规划与控制就是其中的核心技术之一。由于需求旺盛，相关岗位待遇也是水涨船高。然而，由于专业特性，规划与控制涉及的内容非常...

原创 升级NeRF！新加坡国立大学刚刚提出不到一秒从文本到3D生成：Instant3D

作者：小柠檬 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群1、导读文本到3D生成旨在根据文本提示合成生动的3D对象，虽然现有的一些工作在这项任务上取得了令人印象深刻的结果，但它们主要依赖于耗时的优化范例。具体来说，这些方法从头开始针对每个文本提示优化神经场，大约需要一小时或更长时间才能...

转载 清华特奖答辩，一年一度的神仙打架来了！

夕小瑶科技说、Datawhale转载整理| 王二狗清华一年一度的神仙打架又来了！作为清华在校学生的最高荣誉，本科生特等奖学金一直也是每年大家关注的焦点。2023年清华本科生特奖答辩已经于前两日结束，一共有15人入围，据“清华小五爷园”公众号显示现场从投票前十名已经出炉，每位都是各个院系最顶尖的学生。有姚班大神手握六篇顶会一作，有丘成桐亲自下场给求真学子当介绍人，有计算机系学子将师从张亚勤院士读博，...

原创 ICCV2023最新！MemorySeg：激光雷达语义分割SOTA！

作者：| 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群笔者总结本文提出了一种在线激光雷达语义分割框架MemorySeg，它利用三维潜在记忆来改进当前帧的预测。传统的方法通常只使用单次扫描的环境信息来完成语义分割任务，而忽略了观测的时间连续性所蕴含的上下文信息。该框架旨在解决在激光雷达表示...

原创 超神奇！Consolidated4D：从单目视频中生成4D动态对象

作者：小柠檬 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群1、导读我们研究的主要目标是从静态捕获的单目视频中生成4D动态对象。为了实现这一目标，我们提出了一个视频到4D的框架，并采用了特殊设计的级联DyNeRF来表示物体。通过预训练的2D扩散模型，我们使用得分蒸馏采样（SDS）损失对级...

原创 NeurlPS‘23开源！第一个可泛化的语义NeRF

作者：泡椒味的口香糖 | 来源：3DCV在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群0. 笔者个人体会NeRF真是越来越火，而神经语义场更是NeRF中新兴的一个领域，作用是直接生成3D场景的语义分割/实例分割/全景分割。这项技术可以说是3D语义大模型训练的曙光，因为再也不用愁训练数据的标注工作量了。...

转载 面试被问到了工业结构光中，为什么选蓝光？

作者：小柠檬 | 来源：「3D视觉从入门到精通」知识星球添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群「3D视觉从入门到精通」知识星球星球同学提问希望向大家请教一下，目前在市场上看到的不同结构光相机或三维扫描仪，在扫描待测物体（尤其是金属物体）时，通常光源一致选择的都是蓝光，之前参会时看到解决高反问题的方案也大都是蓝光。这个颜色上的选择有什么理由吗？蓝光会更有利于高反物...

原创 大盘点！22项开源NeRF SLAM顶会方案整理！（下）

作者：泡椒味的口香糖 | 来源：计算机视觉工坊添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群。大盘点！22项开源NeRF、SLAM顶会方案整理！（上）大盘点！22项开源NeRF SLAM顶会方案整理！（中）0. 笔者个人体会上两篇文章我们介绍了仅优化NeRF、仅优化位姿、位姿和NeRF联合优化的NeRF SLAM相关工作。本文我们将介绍物体级NeRF SLAM和雷达N...

转载 面向三维视觉的Linux嵌入式系统教程[理论+代码+实战]

对于研究SLAM、自动驾驶、工业3D视觉的小伙伴来说，Linux开发现在已经越来越重要。尤其是对于低成本的家用扫地机、割草机等产品，Linux是主流的开发系统。笔者在SLAM领域从业了多年，发现市面上针对三维视觉在Linux下的开发资料较少，尤其是对于内存泄露如何排查、机器死机情况如何分析、PC与开发板如何交叉编译、程序内存如何管理等方面。偶尔百度上也能查找到一些资料，但是较为零散，甚至有些还是错...

转载 招募主讲老师！涉及NeRF SLAM、激光雷达感知、BEV、Halcon 3D等

原创 NeurlPS‘23开源 | 首个！开放词汇3D实例分割！

作者：泡椒味的口香糖| 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：3D点云，拉你入群。文末附行业细分群0. 笔者个人体会实例分割是CV领域很经典的任务，应用也非常广泛。但一个比较头疼的点是需要预定义类别，训练和测试都只能针对固定的类别。最近，笔者阅读了一篇NeurlPS 2023开源的方案OpenMask3D，可...

转载 3个令人惊艳的视觉企业级项目推荐

大环境不好，各行业内卷，而工业智能化持续火爆，机器视觉+编程相关人才需求井喷，大厂中厂小厂都在抢人，尤其是有视觉项目落地实战经验的专业人才！这里我找行业大佬要了3套<机器视觉企业级实战源码>，还有配套的工具、教程等，能帮大家快速上手，满足高薪标准！资料放在微信群里了，下图扫码(或加微信zhaoxi066)进群领取！扫码添加好友即可免费领取添加微信zhaoxi066也可Halcon车牌识...

转载 招募讲师！NeRF、BEV感知、散斑三维重建、Halcon等

我们工坊已经坚持运营了五年多，感恩小伙伴们一直以来的陪伴与支持~「3D视觉工坊」自成立以来，一直坚持干货文章和视频的输出，我们致力于打造国内领先的3D视觉学习与交流平台。个人的力量总是有限的，我们希望能够和大家一起建设「3D视觉工坊」平台。现面向平台所有读者，包括相关企业的算法工程师、以及高校硕博生、高校老师等招募课程讲师。如果你也在研究3D视觉，包括工业3D视觉、SLAM以及自动驾驶相关方向，欢...