点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
丁润语 投稿
转载自:量子位(QbitAI)
3D模型分割现在也解放双手了!
香港大学和字节梦幻联动,搞出了个新方法:
不需要人工标注,只需要一次训练,就能让3D模型理解语言并识别未标注过的类别。
比如看下面这个例子,未标注的(unannotated)黑板和显示器,3D模型经过这个方法训练之后,就能很快“抓准”目标进行划分。
再比如,给它分别输入sofa、cough这类同义词刁难一下,也是轻松拿下。
甚至连浴室(bathroom)这类抽象分类也能搞定。
这个新方法名叫PLA (Point-Language Assocation),是一种结合点云(目标表面特性的海量点集合)和⾃然语⾔的方法。
目前,该论文已经被CVPR 2023接收。
不过话说回来,不需要⼈⼯标注,只进行⼀次训练,同义词抽象分类也能识别……这可是重重buff叠加。
要知道一般方法使用的3D数据和⾃然语⾔并不能够直接从⽹上免费获取,往往需要昂贵的⼈⼯标注,而且一般方法也⽆法根据单词之间的语义联系识别新类别。
那PLA又是如何做到的呢?一起来看~
具体原理
其实说白了,要成功实现3D模型划分,最重要的一步就是让3D数据也能理解⾃然语⾔。
专业点来说,就是要给3D点云引⼊⾃然语⾔的描述。
那怎么引入?
鉴于目前2D图像的划分已经有比较成功的方法,研究团队决定从2D图像入手。
首先,把3D点云转换为对应的2D图像,然后作为2D多模态⼤模型的输⼊,并从中提取对于图像的语⾔描述。
紧接着,利⽤图⽚和点云之间的投影关系,图⽚的语言描述也就自然能够关联到3D点云数据了。
并且,为了兼容不同粒度的3D物体,PLA还提出了多粒度的3D点云-⾃然语⾔关联方法。
对于整个3D场景⽽⾔,PLA将场景对应所有图⽚提取的语⾔描述进⾏总结,并⽤这个总结后的语⾔关联整个3D场景。
对于每个图像视⻆对应的部分3D场景⽽⾔,PLA直接利⽤图像作为桥梁来关联对应的3D点云和语⾔。
对于更加细粒度的3D物体⽽⾔,PLA通过⽐较不同图像对应点云之间的交集和并集,以及语⾔描述部分的交集和并集,提供了⼀种更加细粒度的3D-语⾔关联⽅式。
这样一来,研究团队就能够得到成对的3D点云-⾃然语⾔,这一把直接解决了人工标注的问题。
PLA用得到的“3D点云-⾃然语⾔”对和已有的数据集监督来让3D模型理解检测和分割问题定义。
具体来说,就是利⽤对⽐学习来拉近每对3D点云-⾃然语⾔在特征空间的距离,并推远不匹配的3D点云和⾃然语⾔描述。
讲了这么多原理,那PLA在具体分割任务中表现到底如何?
语义分割任务超越基准65%
研究⼈员通过测试3D开放世界模型在未标注类别的性能作为主要衡量标准。
先是在ScanNet和S3DIS的语义分割任务上,PLA超过以前的基线⽅法35%~65%。
在实例分割任务中,PLA也有提升,对比之前的方法,PLA提升幅度15%~50%不等。
研究团队
这个项目的研究团队来自香港大学的CVMI Lab和字节跳动。
CVMI Lab是香港大学的一个人工智能实验室,实验室2020年2月1日成立。
研究范围涵盖了计算机视觉与模式识别,机器学习/深度学习,图像/视频内容分析以及基于机器智能的工业大数据分析。
论⽂地址:
https://arxiv.org/pdf/2211.16312.pdf
项⽬主⻚:
https://github.com/CVMI-Lab/PLA
最新CVPP 2023论文和代码下载
后台回复:CVPR2023,即可下载CVPR 2023论文和代码开源的论文合集
后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码,或者添加微信:CVer333,即可添加CVer小助手微信,便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注:研究方向+地点+学校/公司+昵称(如目标检测或者Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群
▲扫码或加微信号: CVer333,进交流群
CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉,已汇集数千人!
▲扫码进星球
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看