NeurlPS‘23开源 | 首个!开放词汇3D实例分割!

本文介绍了NeurlPS 2023开源的OpenMask3D,该方案实现了开放词汇3D实例分割,能根据任意词汇分割3D模型,包括颜色、形状和材质等语义信息。模型通过实例Mask引导的策略,结合CLIP进行特征表示和多视图融合。实验表明OpenMask3D在ScanNet200和Replica上优于其他开放词汇方法,尤其在长尾分布上表现突出。
摘要由CSDN通过智能技术生成

作者:泡椒味的口香糖 | 来源:3D视觉工坊

在公众号「3D视觉工坊」后台,回复「原论文」可获取论文pdf和代码链接

添加微信:dddvisiona,备注:3D点云,拉你入群。文末附行业细分群

0. 笔者个人体会

实例分割是CV领域很经典的任务,应用也非常广泛。但一个比较头疼的点是需要预定义类别,训练和测试都只能针对固定的类别。

最近,笔者阅读了一篇NeurlPS 2023开源的方案OpenMask3D,可以根据输入词汇直接分割模型,关键是输入的词汇非常任意,比如"印有花卉图案的扶手椅",可以很好得跟其他类别区分开。

今天笔者将为大家分享这项工作,当然笔者水平有限,如果有理解不当的地方欢迎大家一起讨论~

1. 效果展示

OpenMask3D声称是第一个开放词汇3D实例分割模型,也就是输入词汇,分割对应的3D实例。神奇的是它甚至可以识别颜色、几何、材料、位置、临近关系等语义信息。比如输入"脚凳"、"上面有一个花瓶的边桌""一个白色的枕头"、"放着花瓶的边桌"、"

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

3D视觉工坊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值