作者：泡椒味的口香糖 | 来源：3D视觉工坊
添加微信：dddvisiona，备注：NeRF，拉你入群。文末附行业细分群
0. 笔者个人体会
最近单图像合成3D、文本合成3D等等工作可谓大火，不停的看见"10秒/45秒/1分钟内合成高保真3D模型"的标题，大多数都是基于扩散模型和NeRF二次开发的，官方主页展示的交互式demo也确实效果拔群。
但是大多数方案合成的3D模型还是太过于平滑了，对于毛发、皮肤纹理、金属质感这种高频细节处理的不太好，很难说达到了照片级渲染。今天笔者将为大家分享香港科技大学、之江实验室、浙江大学最新开源的工作LucidDreamer，合成的模型非常精细！
下面一起来阅读一下这项工作，文末附论文和代码链接~
1. 效果展示
给定文本提示，LucidDreamer可以合成高保真的3D模型，可以发现合成的模型真的是很精细了，保留了非常多的高频细节。3D建模师又要睡不着觉了~这里也推荐工坊推出的新课程《零基础入门四旋翼建模与控制(MATLAB仿真)[理论+实战]》。
2. 具体原理是什么？
现有Text-to-3D方案在渲染3D模型的高频细节上处理效果不太好，这是因为现有方案大多基于SDS（Score Distillation Sampling）进行，造成了模型的过度平滑。
因此，作者换了一个技术路线：提出一种区间得分匹配（Interval Score Matching，ISM）的新方法。ISM采用确定性的扩散轨迹，并利用基于区间的得分匹配来抵消过度平滑。此外，还将3D高斯splatting（ACM SIGGRAPH 2023会议最佳论文）融入到文本到3D中来提高渲染速度。
具体的框架是，首先通过预训练的text-to-3D生成器初始化3D表示θ(实际操作用的是高斯splatting)，结合预训练的2D去噪扩散概率模型，使用DDIM反演将随机视图扰动为无条件噪声的潜在轨迹，最后使用作者提出的ISM来更新θ。
3. 再来看看和同类方法的对比
看一下和同类text-to-3D的效果对比，其他方案要么出现了语义歧义，要么渲染速度过慢。
作者提出的ISM和同类SDS策略的对比，可以发现ISM很大程度上预测了3D物体的高频细节，使得模型更贴近照片级渲染！
作者还展示了ISM的应用价值，包括2D/3D编辑、3D虚拟任务生成、个性化3D生成，进一步扩展了这项工作的意义。这里也推荐工坊推出的新课程《零基础入门四旋翼建模与控制(MATLAB仿真)[理论+实战]》。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
4. 论文信息
标题：LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching
作者：Yixun Liang, Xin Yang, Jiantao Lin, Haodong Li, Xiaogang Xu, Yingcong Chen
机构：香港科技大学、之江实验室、浙江大学
原文链接：https://arxiv.org/abs/2311.11284
代码链接：https://github.com/EnVision-Research/LucidDreamer
我是泡椒味的口香糖，专注于CV和SLAM领域。这里有最新的前沿理论，有大佬答疑解惑，还有全网最全的免费视频课程！如果你也是一个人在孤独地摸索学习，那就欢迎扫码加入我们，一起交流学习~
下载1
在公众号「3D视觉工坊」后台，回复「3d001」,即可获取工业3D视觉（结构光、缺陷检测、三维点云）、SLAM（视觉/激光SLAM）、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文。
下载2
在公众号「3D视觉工坊」后台，回复「3d002」,即可获取巴塞罗那自治大学3D视觉课件、慕尼黑工业大学3D视觉和视觉导航精品课件。
下载3
在公众号「3D视觉工坊」后台，回复「3d003」,即可获取相机标定、结构光、三维重建、激光-视觉-IMU-GPS多模态融合SLAM、LOAM、ORB-SLAM3，深度估计、模型部署、3D目标检测等学习课件。注：非完整版。
高效学习3D视觉三部曲
第一步 加入行业交流群，保持技术的先进性
目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：
[工业3D视觉]相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、综合群等。
[SLAM]视觉SLAM、激光SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、MOT SLAM、NeRF SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机/GPS/RTK/UWB/IMU/码盘/TOF（iToF/dToF）/激光雷达/气压计/毫米波雷达/RGB-D相机/超声波等、机器人导航、综合群等。
[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、综合群等。
[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
[无人机]四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。
第二步 3D视觉从入门到精通系统课程
目前3D视觉工坊平台针对各个方向的知识点，打造了多门从理论到实战课程，包括：
论文写作课程：三维科研基础入门课程：C++、Linux、相机标定、ROS2、dToF工业3D视觉课程：面结构光、线结构光、散斑结构光、相位偏折术、机械臂抓取、三维点云(PCL和Open3D)、缺陷检测SLAM课程：LeGo-LOAM、LOAM、LVI-SAM（激光-视觉-IMU-GPS融合SLAM）、Vins-Fusion、ORB-SLAM3、室内/室外激光SLAM等机器人路径规划与控制课程：机器人规控入门与实践三维重建课程：comlap、MVSNet等自动驾驶课程：多传感器标定、视觉Transformer、单目深度估计、3D目标检测、模型部署等。
注：工坊现面向平台所有读者招募主讲老师，奖励丰厚，具体详情可以可以参考：3D视觉主讲老师招募
第三步 加入知识星球，问题及时得到解答
「3D视觉从入门到精通」知识星球，依托于微信公众号「3D视觉工坊」、「计算机视觉工坊」、「3DCV」平台，星球内除了包含3D视觉独家秘制视频课程（近20门，包括三维重建、三维点云、手眼标定、相机标定、3D目标检测、深度估计、ORB-SLAM3、Vins-Fusion、激光-视觉-IMU-GPS融合、机械臂抓取等）、3D视觉项目对接、3D视觉学习路线、最新论文&代码分享、入门书籍推荐、源码汇总、最新行业模组分享、编程基础&作业、求职招聘&面经&面试题等，更有各类大厂的算法工程人员进行技术指导。目前星球铁杆粉丝已近6000+，让我们一起探索更其妙的3D视觉技术、为祖国的创新发展贡献自己的一份力。知识星球入口：3D视觉从入门到精通
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
