3D视觉工坊

转载 项目需求|5K|货厢内麻包类货物垛堆分拣识别系统研究(基于Kinect2.0)

转载 都2023年了，我不允许你还不懂Transformer

说到纯视觉的自动驾驶方案，大家第一个想到的就是Tesla吧。的确，早在2021年，Tesla就已经实现了纯视觉的BEV检测方案，而且效果非常好。细心的同学可能发现了，这套BEV方案中将相机空间的图像转换到BEV空间的核心组件就是Transformer。Transformer来源于自然语言处理领域，首先被应用于机器翻译。后来，大家发现它在计算机视觉领域效果也很不错，而且在各大排行榜上碾压CNN网络。...

转载 Gaussian Splatting杀疯了！最新开源的超强3D场景编辑！

0. 笔者个人体会3D场景编辑通过文本直接修改场景建模，广泛用于VR/AR、3D建图、游戏建模等应用。但传统的3D编辑方法依赖网格和点云，很难描绘复杂场景，NeRF方案渲染质量高但是速度很慢。最近3D Gaussian Splatting可谓大火，极大提高了NeRF的渲染速度，目前还在不停地刷新各大任务。感兴趣的读者可以抓紧探索3D Gaussian Splatting在其他CV任务上的应用，目前...

转载 让NeRF动起来！PhysGaussian：生成任何物体的真实运动！

0. 笔者个人体会最新NeRF的工作真是让人感觉越来越神（离）奇（谱）。很多人还没理解NeRF为啥可以合成新视角图像，就有工作声称可以模拟物体的真实运动规律了，甚至弹性、流体、金属、颗粒等等材料的泊松比都可以控制。今天笔者将为大家介绍这项最新工作PhysGaussian，文末附论文和代码链接~1. 效果展示PhysGaussian不仅可以生成照片级的渲染效果，还可以模拟生成物体的真实运动，这个感觉...

转载 开源|一款可以自己动手DIY的3D工业智能相机

XEMA北极鸥系列开源相机项目是面向3D视觉应⽤开发者的开源项目，由跨维智能和开放原子基金会共同孵化，该项目希望能够构建工业视觉领域的开源社区，推动社区成为可持续发展的自组织系统，把XEMA开源方案和3D视觉技术推广到中国智能制造的各个领域，节省整个社会的研发资源。从2015年起，3D视觉开始在中国加速发展，许多3D视觉初创公司开始如雨后春笋般冒出，3D视觉已被认为是工业机器⼈领域最火热的细分赛道...

转载 论如何卷赢其他Linux嵌入式工程师

对于研究SLAM、自动驾驶、工业3D视觉的小伙伴来说，Linux开发现在已经越来越重要。尤其是对于低成本的家用扫地机、割草机等产品，Linux是主流的开发系统。笔者在SLAM领域从业了多年，发现市面上针对三维视觉在Linux下的开发资料较少，尤其是对于内存泄露如何排查、机器死机情况如何分析、PC与开发板如何交叉编译、程序内存如何管理等方面。偶尔百度上也能查找到一些资料，但是较为零散，甚至有些还是错...

转载 已70k star！github中文排行榜，中文项目Top10都在这里啦！

作者：小张Tt | 来源：计算机视觉工坊项目地址：https://github.com/GrowingGit/GitHub-Chinese-Top-Charts你还在寻找GitHub中文资料而发愁吗？你还在GitHub因为英文不好而犯难吗？你还在找不到中文组织而难过吗？GitHub中文排行榜「帮助你发现优秀中文项目，可以无语言障碍地、更高效地吸收优秀经验成果」项目特色亮点【首创】中文排行榜筛选出有...

转载 NeurlPS'23 | 第一个协作神经隐式SLAM！（浙大NICE-SLAM团队最新力作）

作者：泡椒味的口香糖 | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf链接这里给大家推荐下SLAM微信群，扫码入群，方便大家沟通交流：1. 笔者个人体会NeRF最近有多火不必多说，NeRF SLAM最近也有很多进展，但主要工作都集中在建图上，定位精度很大程度上都不如传统SLAM，关键在于NeRF SLAM不好引入回环检测和全局优化。但如果把NeRF地图转换为离散的...

原创 香港大学最新提出！实现超现实的人类图像生成：HyperHuman

作者：历飞雨 | 来源：3DCV在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvision，备注：三维重建，拉你入群。文末附行业细分群1、导读尽管大规模文本到图像模型取得了重大进展，但实现超现实的人类图像生成仍然是一项理想但尚未解决的任务。现有模型（例如稳定扩散和DALL·E2）往往会生成部分不连贯或姿势不自然的人体图像。为了应对这些挑战，我们的主要见解是，...

原创 北大师兄聊一聊基于深度学习的三维重建方法

2019年4月15日下午6时50分左右，一场大火席卷了法国巴黎圣母院，持续长达14小时。幸而巴黎圣母院有着高分辨率的3D模型，研究人员可以了解圣母院本身的建造结构，以便修复工程的开展。多视图立体几何（Multi-View Stereo，MVS）是计算机视觉中重要的研究领域，也是迈入三维计算机视觉研究的重点问题。它通过利用多张互相重叠的图像恢复出原始三维场景的几何结构和纹理信息，是现实中拍摄照片的逆...

原创 NeurlPS‘23开源 | 动态场景下的自监督单目深度估计

作者：泡椒味的口香糖 | 来源：计算机视觉工坊在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf、官方主页、代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群0. 笔者个人体会自监督单目深度估计的训练可以在大量无标签视频序列来进行，训练集获取很方便。但问题是，实际采集的视频序列往往会有很多动态物体，而自监督训练本身就是基于静态环境假设，动态环境下会失效。...

转载 自动驾驶技术的进化：从SLAM+DL到BEV+Transfomrer

作者：匡吉来源：深蓝AI自动驾驶技术在20世纪初的概念和实验主要集中在车辆自动化和遥控方面。到了20世纪80年代和90年代，随着计算机技术和人工智能的发展，自动驾驶技术开始取得显著进展。这一时期，一些大学和研究机构开始开发原型车辆，能够在特定条件下实现自动驾驶。进入21世纪，自动驾驶技术迎来了快速发展期。随着传感器、算法、计算能力和大数据技术的进步，多家科技公司和汽车制造商开始投入巨资研发自动驾驶...

转载 全世界都在等华为开奖。。

来源：公子龙最近无论是在公众号还是B站后台，都能看到一些读者询问华为什么时候开奖，我的回答都很统一，稳住别急，急也没用，去年华为开奖也是很晚，拖了很久。体量庞大的华为是每年计算机校招生的大救星，关注它动态的人非常多，很多人就靠华子的offer来上岸了。目前其他的企业，这几年有迹象能够达到这种程度的，我只看到了比亚迪，迪子这几年招人很猛，去年招了几万应届生。本周四23号华为终于开始offer cal...

转载 重磅直播！基于Grpah Transformer的在线3D多目标追踪

直播主题基于GrpahTransformer的在线3D多目标追踪主讲嘉宾丁舒啸博士德国梅塞德斯-奔驰研发部场景感知组与波恩大学CV组联合培养博士生；主要研究方向为图神经网络在自动驾驶中的应用，研究涵盖基于图神经网络的目标检测、目标追踪、端到端感知系统等。直播内容3D视觉工坊平台矩阵大家有特别想了解的，可以提前在底部留言，直播间老师会重点关注解答。...

转载 字节员工薪资遭泄露，168w

来源：序木当目标太过远大，就失去了激励的作用。人往往只会对和自己差不多的人，过得比自己好这件事，耿耿于怀；反而，对那些比自己好很多的人，同时，过得也比自己好很多的人，毫无嫉妒之心。还有，人通常会对自己身边、过得比自己好的人，产生嫉妒之心，而对陌生人、过得比自己好，不那么敏感。有一个例子，乞丐并不会嫉妒富翁，但一定会嫉妒收入比自己高的乞丐。原因在于，人类是视觉动物。只在意眼前看见的、正在发生的事。身...

原创 多伦多大学最新提出在现实感传感器模拟中的野外物体重建

作者：小柠檬 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群1、导读传感器模拟是计算机图形学中的一个重要研究领域，它可以用于虚拟现实、游戏开发、自动驾驶等应用中。然而，现有的传感器模拟方法往往无法准确地重建野外环境中的物体，因为这些物体具有复杂的形状和纹理，并且受到光照和遮挡的影响。因此...

原创 澳大利亚国立大学最新提出短短5秒内从单个输入图像预测对象的3D模型

作者：小柠檬 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群1、导读已有的三维重建方法通常需要多张图像或深度传感器的输入来获取三维信息，但这限制了其在实际应用中的使用。因此，研究人员提出了使用单张图像进行三维重建的方法，这对于许多实际场景非常有用。本文提出了一种名为LRM的大型重建模型，...

原创 ICLR 2024最新开源！协同多视图和跨模式对比学习以增强3D表示：MIXCON3D

作者：巴巴塔 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群1、导读由于3D数据获取成本高昂，现有的3D数据集的多样性和复杂性有限。为了解决数据稀缺的问题，最近的研究开始利用训练良好的2D基础模型来学习3D形状。这些方法主要建立在CLIP模型的基础上，通过训练大规模的图像-文本对来学习知...

原创 英伟达联合多伦多大学最新提出用于高效神经辐照场渲染的自适应外壳！

作者：巴巴塔| 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群1、导读神经辐射场渲染是一种用神经网络表示场景的方法，可以生成逼真的新视角图像。然而，神经辐射场渲染的计算复杂度较高，导致训练和推理速度较慢。因此，本文旨在提出一种自适应外壳（Adaptive Shells）的方法，以加速神经辐...

原创 国家重点智能研究院联合清华北大提出透视未来的单视图3D场景重建

作者：小柠檬 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群1、导读传统的三维重建方法通常需要多个视角的图像或使用深度传感器等设备来获取场景的几何和纹理信息。然而，这些方法存在一些限制，如需要大量的输入数据、设备依赖性和成本高昂。因此，研究人员开始探索如何从单个视角的图像中重建出高保真度...

原创 RAL2023 港大开源！基于分层激光雷达集束调整的一致性建图

作者：敖丙 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：NeRF SLAM，拉你入群。文末附行业细分群0. 笔者总结为了保证激光SLAM的建图质量，通常有两种策略：基于图优化的方式、基于BA的方式。图优化中由于相对约束的误差和不精确建模，位姿图优化可能陷入局部最优，使得地图一致性较差。BA在大尺度建图中的计算量太大，计算...

转载 重磅！面结构光三维重建高阶实践班（C++），涉及HDR高动态算法、高速结构光、非线性畸变校正等...

这里给大家推荐下结构光微信群，扫码入群，方便大家沟通交流：如果你需要学习了结构光课程，需要1-2年项目经验、直接可以落地，3D视觉工坊联合课程讲师天涯居士推出 [面结构光三维重建：高阶实践班（C++）]，小班化教学，推荐以下同学报名：在读大三/研二，明年即将毕业的同学：可以有时间完整地学习这一技术（因为找工作，还需要刷数据结构，因此最好是预留出足够的时间，顺带刷数据结构）。相关行业转行：3D结构光...

转载 ROS 2.0时代，Navigation2的开创性导航技术揭秘

近年来，自主移动机器人与自动驾驶持续火热。自主移动机器人在越来越多的行业得以落地，在提升效率，节省人力成本，提高作业安全性等方面做出巨大贡献。自动驾驶也在迅速发展，越来越多的汽车标配自动泊车功能，新势力车企更是纷纷推出城市自动驾驶，高阶辅助驾驶。这其中都离不开关键技术的发展，决策，规划与控制就是其中的核心技术之一。由于需求旺盛，相关岗位待遇也是水涨船高。然而，由于专业特性，规划与控制涉及的内容非常...

原创 CVPR 2023！自动Transdecoder神经坐标映射用于相机定位：NeuMap

作者：小张Tt | 来源：3DCV在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接这里给大家推荐下SLAM微信群，扫码入群，方便大家沟通交流：本文介绍了一种用于相机定位的端到端神经映射方法NeuMap。NeuMap通过使用可学习的潜在编码和基于Transformer的自动解码器来编码整个场景并回归查询像素的3D坐标。相比于当前的特征匹配方法和坐标回归方法，NeuMap能够在保...

转载 大模型时代下，算力不够，如何破局？

专家面对面：算力方案闭门研讨会活动背景：算力吃紧的情况下，如何以有限预算破局活动时间：2023年11月28日（周二）14:00-16:00活动主题：专家面对面闭门座谈会，讨论问题与解决之道席位有限预定从速...

转载 高效学习3D视觉三部曲

高效学习3D视觉三部曲第一步 加入行业交流群，保持技术的先进性目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：[工业3D视觉]相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光...

转载 MIT中国博士离世，外媒报道自杀，但疑似与实验室事故有关

本文募格学术整理自外媒新闻、小红书、华人生活网等。11 月 15 日，根据多家媒体报道，麻省理工学院（MIT）的中国博士生辛天思（Tiansi Xin）在做实验后不幸离世。辛天思的去世消息让麻省理工学院社区，特别是中国留学生群体感到震惊和悲伤。麻省理工学院校长 Sally Kornbluth 在一封给全校师生的内部邮件中证实了这一消息。她在邮件中表示：" 我怀着无比悲痛的心情告诉大家，化学专业五年...

原创 NGEL-SLAM：浙大、华为最新SOTA！又快又稳！

作者：大森林 | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf链接添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群1. 笔者总结神经隐式表示已经成为提供密集几何信息的同时定位与地图构建（SLAM）的一种有前途的解决方案。然而，现有的这方面的方法在全局一致性和低延迟方面存在不足。本文提出了NGEL-SLAM来解决上述挑战。为了保证全局一致性...

转载 招募主讲老师！涉及NeRF、激光雷达感知、BEV、语义SLAM、Halcon 3D等

原创 爆火！提升92%！One-2-3-45++来了：快速将单图像转为3D模型！

作者：泡椒味的口香糖 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群笔者个人体会最近单图像/文本转换成3D模型真的好火啊，各种各种的方案和模型层出不穷，确实感叹CV领域的进展得按天来计算了。最近，之前爆火的图像到3D方案One-2-3-45又推出了升级版One-2-3-45++，全面提升...

原创 IROS‘23开源,nuScenes跟踪第一!无需学习的超强多目标跟踪！

作者：泡椒味的口香糖 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群笔者个人体会多目标跟踪的作用是获取目标在整个图像/LiDAR序列上的完整轨迹和状态，这两年在SLAM、导航、规划任务上应用很多。多目标跟踪的基本框架就是预测+关联，很多MOT使用学习方法进行预测，但是计算量很大。实时方法...

原创 重大突破！斯坦福大学提出一种单阶段方法，在30秒内实现高质量文本到3D生成和单图像重建...

作者：巴巴塔 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群1、导读我们提出了一种基于多视图图像扩散的去噪方法，可以通过少量的多视图图像来生成高质量的3D模型。该方法利用了大型Transformer模型，可以从噪声图像中重建出无噪声的3D模型，并且可以在任意视角上进行渲染。该方法还支持文...

原创 CMU&斯坦福最新开源：零样本开放词汇跟踪！竟然还不需要训练？

作者：泡椒味的口香糖 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群0、笔者个人体会视频目标跟踪已经有很多相关工作了，但是往往都只能跟踪预定义目标。实际工程落地很容易出现新的跟踪目标，每出现不同目标就重新训练的话，成本就太高了。所以zero-shot、one-shot、few-shot等...

原创 SCI ROBOT 2023 港大开源 | 一种用于自主导航的具有扩展传感器视场的自旋转单驱动无人机...

作者：敖丙 | 来源：计算机视觉工坊在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf及支撑材料、代码链接添加微信：dddvisiona，备注：无人机，拉你入群。文末附行业细分群0. 笔者总结无人驾驶飞行器（UAV）在各种现实应用中发挥着越来越重要的作用，例如搜索和救援、洞穴勘测、建筑测绘和考古勘探。为了满足这些应用中的任务要求，自定位、环境测绘和避障的能力是关键。这些能力通常基于无人...

转载 机器人路径规划，从DWA到DWB

近年来，自主移动机器人与自动驾驶持续火热。自主移动机器人在越来越多的行业得以落地，在提升效率，节省人力成本，提高作业安全性等方面做出巨大贡献。自动驾驶也在迅速发展，越来越多的汽车标配自动泊车功能，新势力车企更是纷纷推出城市自动驾驶，高阶辅助驾驶。这其中都离不开关键技术的发展，决策，规划与控制就是其中的核心技术之一。由于需求旺盛，相关岗位待遇也是水涨船高。然而，由于专业特性，规划与控制涉及的内容非常...

原创 升级NeRF！新加坡国立大学刚刚提出不到一秒从文本到3D生成：Instant3D

作者：小柠檬 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：三维重建，拉你入群。文末附行业细分群1、导读文本到3D生成旨在根据文本提示合成生动的3D对象，虽然现有的一些工作在这项任务上取得了令人印象深刻的结果，但它们主要依赖于耗时的优化范例。具体来说，这些方法从头开始针对每个文本提示优化神经场，大约需要一小时或更长时间才能...

转载 清华特奖答辩，一年一度的神仙打架来了！

夕小瑶科技说、Datawhale转载整理| 王二狗清华一年一度的神仙打架又来了！作为清华在校学生的最高荣誉，本科生特等奖学金一直也是每年大家关注的焦点。2023年清华本科生特奖答辩已经于前两日结束，一共有15人入围，据“清华小五爷园”公众号显示现场从投票前十名已经出炉，每位都是各个院系最顶尖的学生。有姚班大神手握六篇顶会一作，有丘成桐亲自下场给求真学子当介绍人，有计算机系学子将师从张亚勤院士读博，...

原创 ICCV2023最新！MemorySeg：激光雷达语义分割SOTA！

作者：| 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群笔者总结本文提出了一种在线激光雷达语义分割框架MemorySeg，它利用三维潜在记忆来改进当前帧的预测。传统的方法通常只使用单次扫描的环境信息来完成语义分割任务，而忽略了观测的时间连续性所蕴含的上下文信息。该框架旨在解决在激光雷达表示...

原创 超神奇！Consolidated4D：从单目视频中生成4D动态对象

作者：小柠檬 | 来源：3DCV在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群1、导读我们研究的主要目标是从静态捕获的单目视频中生成4D动态对象。为了实现这一目标，我们提出了一个视频到4D的框架，并采用了特殊设计的级联DyNeRF来表示物体。通过预训练的2D扩散模型，我们使用得分蒸馏采样（SDS）损失对级...

原创 NeurlPS‘23开源！第一个可泛化的语义NeRF

作者：泡椒味的口香糖 | 来源：3DCV在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群0. 笔者个人体会NeRF真是越来越火，而神经语义场更是NeRF中新兴的一个领域，作用是直接生成3D场景的语义分割/实例分割/全景分割。这项技术可以说是3D语义大模型训练的曙光，因为再也不用愁训练数据的标注工作量了。...