北大最新 | CLIP-GS：将CLIP模型的语义信息与3DGS相结合，用于实现对3D场景的实时、精确语义理解

最新推荐文章于 2024-10-03 18:39:52 发布
最新推荐文章于 2024-10-03 18:39:52 发布
阅读量316 收藏
点赞数 6
分类专栏： 3D视觉从入门到精通 文章标签： 3d
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46788581/article/details/138231041
版权
CLIP-GS方法结合CLIP模型与3D高斯溅射，实现实时精确的3D场景语义理解。通过语义紧凑性和3D一致自训练策略，提升渲染效率和分割精度，适用于复杂3D环境的应用。
摘要由CSDN通过智能技术生成

作者：Guibiao Liao | 编辑：3DCV
添加微信：cv3d008，备注：方向+单位+昵称，拉你入群。文末附行业细分群

图片

1、导读

这篇文章介绍了一种名为CLIP-GS的方法，该方法将CLIP模型的语义信息与3D高斯溅射相结合，用于实现对3D场景的实时、精确语义理解。该方法的关键创新包括利用高斯溅射的高效渲染能力，以及引入语义属性紧凑性和3D协同自训练策略。实验结果表明，CLIP-GS在多个数据集上取得了最先进的性能，尤其在实时渲染速度和分割精度方面表现突出。总的来说，这篇文章提出了一种高效精确的3D语义理解方法，通过融合语义信息和高效渲染技术，为3D场景理解领域带来了新的突破。

2、论文信息

标题：CLIP-GS: CLIP-INFORMED GAUSSIAN SPLATTING FOR REAL-TIME AND VIEW-CONSISTENT 3D SEMANTIC UNDERSTANDING
作者：Guibiao Liao等人
单位：北京大学等单位

了解本专栏 订阅专栏 解锁全文 超级会员免费看
计算机视觉工坊
关注
专栏目录
订阅专栏
康奈尔大学最新 | GS-LRM：仅需几张图片，实时实现高质量3D重建
计算机视觉工坊
05-04 331
本文介绍了一种基于transformer的简单可扩展的大型重建模型，用于高斯散射(GS)表示。该方法可以在单个A100 GPU上，从一组稀疏的姿态图像中，快速地正向预测高分辨率GS，预测时间约为0.23秒。该模型适用于对象级和场景级的捕获，并在大量数据训练下，在这两种场景中达到了最先进的性能。我们希望这项工作能够启发更多的未来研究，推动数据驱动的正向3D重建领域的发展。本文仅做学术分享，如有侵权，请联系删文。
CLIP还能再战 ！结合Mamba超越传统，仅用1/5参数就达到天花板性能
学姐带你玩AI的博客
07-19 680
CLIP是由OpenAI开发的多模态预训练模型，具有非常强的泛化能力、高效性和灵活性。，以实现更复杂的多模态任务。这种策略不仅可以很大程度上提升模型的性能，还给我们提供了更大的创新空间，很多研究也已经在多个领域获得了显著的成效。比如首次提出的CLIP-Mamba模型，仅用1/5参数就达到ViT天花板性能；还有北大最新的CLIP-GS，在实时渲染速度和分割精度方面实现SOTA效果。为帮助同学们了解最新动态，这次我整理了。
CVPR‘24 | 3D-GS再进化，Scaffold-GS实时自适应视图渲染的未来
3D视觉工坊
05-25 364
本文介绍了一种名为Scaffold-GS的新型3D神经场景表示方法，用于实现高效的自适应视图渲染。该方法利用SfM中的锚点引导3D高斯函数的结构排列，并通过视角相关的MLP实时解码其属性。实验证明，Scaffold-GS方法能够利用更紧凑的高斯函数集合实现与甚至更好于SOTA算法相媲美的结果。尤其在挑战性案例中，Scaffold-GS的自适应视图神经高斯函数表现出明显的优势。
ECCV 2024 | CLIP-DINOiser：教CLIP学习一些DINO技巧
阿木寺的博客
07-10 101
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！本文使用自监督DINO作为指导，教CLIP产生定位特征，进而改进MaskCLIP，提出C...
别再用SuGaR了！重磅开源SA-GS：重新定位最新大场景3D重建SOTA！
3D视觉工坊
06-12 155
本次分享我们邀请到了香港中文大学(深圳)深圳市未来智联网研究所研究员熊步天，为大家详细介绍他们的工作：SA-GS.如果您有相关工作需要分享，欢迎文末联系我们！SA-GS: Semantic-Aware Gaussian Splatting for Large Scene Reconstruction with Geometry Constrain项目网站：https://saliteta.gith...
稠密语义SLAM最新工作！SGS-SLAM打造最精确的3D语义地图！
3D视觉工坊
03-07 278
语义理解在稠密同时定位与地图构建（SLAM）中发挥着至关重要的作用，有助于全面解释场景。将高斯飞溅技术整合到SLAM系统中的最新进展已经证明了它通过使用明确的3D高斯表示生成高质量渲染的有效性。在此进展基础上，我们提出了SGS-SLAM，这是第一个基于3D高斯的语义密集视觉SLAM系统，它在提供精确的3D语义分割的同时，还能产生高保真的重建。具体而言，我们建议在建图过程中采用多通道优化，将外观、几何和语义约束与关键帧优化相结合，以提高重建质量。
349 FPS！开源！CoR-GS：仅需3张图片即可训练Gaussian场景！
3D视觉工坊
05-28 126
三维高斯点云投影（3DGS）创建一个由三维高斯函数组成的辐射场来表示一个场景。在训练视角稀疏的情况下，3DGS很容易出现过拟合，从而对重建质量产生负面影响。本文介绍了一种新的共正则化视角，用于改善稀疏视角下的3DGS。当使用相同的场景稀疏视角训练两个三维高斯辐射场时，我们观察到这两个辐射场表现出"点争议"和"渲染争议"，这可以无监督地预测重建质量，这源于密度化中的采样实现。我们进一步通过评估高斯函数点表示之间的配准，并计算其渲染像素之间的差异，量化了点争议和渲染争议。
CVPR‘24开源 | 通过3D GS进行整体城市3D场景理解！
3D视觉工坊
03-24 172
基于RGB图像的城市场景的整体理解是一个具有挑战性但重要的问题。它包括理解几何和外观，以实现新视图合成，解析语义标签，并跟踪移动物体。尽管取得了相当大的进展，但现有方法通常侧重于此任务的特定方面，并需要额外的输入，例如LiDAR扫描或手动注释的3D边界框。在本文中，我们介绍了一种利用3D高斯喷涂的新型管道，用于全面理解城市场景。我们的主要想法涉及使用静态和动态3D高斯的组合，通过物理约束对移动物体姿态进行正则化，从而联合优化几何、外观、语义和运动。
CVPR‘24开源 | ADA-Track：端到端3D多目标跟踪最新SOTA！
计算机视觉工坊
07-01 159
许多基于查询的3D多目标跟踪（MOT）方法采用基于注意力的跟踪范式，利用跟踪查询进行身份一致的检测，并使用对象查询进行身份无关的跟踪生成。然而，基于注意力的跟踪将检测和跟踪查询在一个嵌入中纠缠在一起，分别用于检测和跟踪任务，这是次优的。其他方法类似于基于检测的跟踪范式，使用解耦的跟踪和检测查询来检测对象，随后进行关联。然而，这些方法没有利用检测和关联任务之间的协同作用。结合两种范式的优点，我们提出了ADA-Track，一个从多视角摄像机进行3D MOT的全新端到端框架。
【3D-GS】Gaussian Splatting SLAM——基于3D Gaussian Splatting的全网最详细的解析
格物致知
03-30 3103
fx1σ2πe−x−μ22σ2fxσ2π​1​e−2σ2x−μ2​其中：μ 是正态分布的 均值，代表数据中心的位置。σ 是正态分布的 标准差，代表数据离散程度。对于一段x区间,进行积分可以得到分布中的数据落在这一-区间的概率,其中绝大多数落在3sigma区域(概率是0.9974)。因此,一组mumumu和sigma/sigmasigma。
CVPR‘24开源 | Symphonies：深入自动驾驶中的3D语义场景补全
计算机视觉工坊
06-22 83
3D语义场景补全（SSC）已成为自动驾驶中新兴而重要的任务，旨在预测体积场景内的体素占用情况。然而，当前的方法主要集中在体素级特征聚合上，而忽略了实例语义和场景上下文。本文提出了一种名为Symphonies（从实例到场景）的新范式，深入探讨了将实例查询整合到2D到3D重建和3D场景建模中。利用我们提出的串行实例传播注意力，Symphonies动态地编码了以实例为中心的语义，促进了图像域和体积域之间的复杂交互。
50. GLTF格式简介 (Web3D领域JPG)
Miller777_的博客
09-28 700
GLTF格式是新2015发布的三维模型格式，随着物联网、WebGL、5G的进一步发展，会有越来越多的互联网项目Web端引入3D元素，你可以把GLTF格式的三维模型理解为.jpg、.png格式的图片一样，现在的网站，图片基本是标配，对于以后的网站来说如果需要展示一个场景，使用3D来替换图片表达也是很正常的事情。.bin文件中的信息其实就是对应gltf文件中的buffers属性，buffers.bin中的模型数据，可以存储在.gltf文件中,也可以单独一个二进制.bin文件。
【2023工业3D异常检测文献】CPMF: 基于手工制作PCD描述符和深度学习IAD结合的AD方法
qq_1532145264的博客
10-03 734
Complementary Pseudo Multimodal Feature for Point Cloud Anomaly Detection
【3D分割】Segment Anything in 3D with Radiance Fields
cjy_colorful0806的博客
09-27 1082
NeRF（Neural Radiance Fields）是用于表示3D场景的连续函数，通过多层感知机（MLP）将空间坐标 和视角方向 映射到相应位置的颜色 和体积密度。渲染图像时，NeRF通过光线投射技术生成每个像素点的颜色，公式如下：其中，权重 表示在射线路径 r(t)上的透明度和体积密度的综合效果，公式如下：其中 tn 和 t 分别为光线的近界和远界。
相互作用的检索增强 3D 分子生成扩散模型 - IRDiff 评测
wufeil7的博客
10-01 679
IRDiff 是一个全新的基于蛋白质-配体相互作用的检索增强 3D 分子扩散模型，可以生成目标感知的分子。IRDiff 利用一组设计好的参考配体分子来引导扩散模型生成满足目标特性的分子。 本文对 IRDiff 进行了评测，修正了GitHub上的代码错误，使用内置案例和自有案例对 IRDidd 进行分子生成测试，并检查生成结果。
谷歌地图 | 3D 地图新功能：开发更简单，体验更丰富
CLOUDACE的博客
09-29 954
9月25日，谷歌地图宣布实验性 3D 地图迎来了重大更新，这将使开发者更轻松地构建沉浸式且引人入胜的地图体验。 借助 JavaScript 3D 地图的新功能套件，开发者将拥有更多工具来优化 3D 开发流程，为用户提供直观流畅的体验，并进一步定制现实世界地图。 接下来跟随 Cloud Ace，一起感受 JavaScript 3D 地图酷炫的新功能
【2022工业3D异常检测文献】AST: 基于归一化流的双射性产生不对称学生-教师异常检测方法
最新发布
qq_1532145264的博客
10-03 1025
Asymmetric Student-Teacher Networks for Industrial Anomaly Detection
2024 maya的散布工具sppaint3d使用指南
shenmifangke的专栏
09-27 394
复制scripts东西sppaint3d文件夹进入 C:\Users\用户名\Documents\maya\版本号\scripts。这个是国内作者在最老版本上修改的python3版本，虽然版本号还是2011界面差不多，但是和原版的python3版有毛线差异，将prefs，scripts文件夹复制到 C:\Users\用户名\Documents\maya\版本号。icons进入 C:\Users\用户名\Documents\maya\版本号\prefs\icons。加入了散布半径和数量的功能，更好用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值