【视觉三维重建】【论文笔记】高清3D高斯泼溅（Deblurring 3D Gaussian Splatting）

已于 2024-04-02 19:47:38 修改
阅读量1.4k 收藏 11
点赞数 5
分类专栏： 计算机视觉算法 文章标签： 论文阅读 超分辨率重建 计算机视觉
于 2024-03-10 17:36:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSUzhangpeike/article/details/136579178
版权
本文介绍了针对3D高斯泼溅渲染的去模糊技术，通过MLP对3D高斯协方差建模，实现实时高质量的图像重建。在训练中引入模糊，推理时去除，模拟类似于假性近视矫正的过程。实验结果显示该方法在保持高细节还原度的同时，提高了图像清晰度，达到了接近SOTA的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

去模糊的3D高斯泼溅，比3D高斯更加精细，对场景物体细节的还原度更高，[官网]（https://benhenryl.github.io/Deblurring-3D-Gaussian-Splatting/）

背景技术

Volumetric rendering-based nerual fields：NeRF.
Rasterization rendering: 3D-GS.
Rasterization比volumetric方法更加高效。

摘要

一种新的field-based的网络模型，实现对最新的rasterization rendering技术——3D高斯泼溅的去模糊。
设计MLP，对各个3D高斯的协方差建模；既能重建出优异、锐利的细节，又能保证实时渲染。

方法

一个MLP处理3D高斯模型，其输入包含视线方向向量 v v v，模型的位置 x x x、姿态 r r r、尺度系数 s s s，输出偏置量 δ r \delta r δr， δ s

最低0.47元/天 解锁文章
3D Gaussian Splatting 部署
qq_34717531的博客
09-03 3883
简介：3D Gaussian Splatting是一种用一组2d图像创建3d场景的方法，你只需要一个场景的视频或者一组照片就可以获得这个场景的高质量3d表示，使你可以从任何角度渲染它。它们是一类辐射场方法（如NeRF），但同时训练速度更快（同等质量）、渲染速度更快，并达到更好或相似的质量。3D Gaussian Splatting可以实现无界且完整的场景1080p分辨率下进行高质量实时（≥ 100 fps）视图合成。该论文获得的siggraph 2023最佳论文。
Deblurring 3D Gaussian Splatting
步子哥的博客
01-03 1565
在基准测试中进行了多种实验，结果表明该方法在去模糊方面是有效的，并且在不同的评估矩阵下，该方法在渲染质量上达到了最先进的水平，同时实现了显著更快的渲染速度（> 200 FPS）。: 由于模糊图像可能导致稀疏的点云，论文提出了一种训练技术，通过添加具有有效颜色特征的额外点和基于位置的高斯修剪来补偿稀疏点云，以便在场景的远平面上保留更多的点。通过这些实验，论文展示了所提出的方法在去模糊失焦模糊的同时，仍能保持实时渲染的能力，并且与现有尖端模型相比，在不同的评估指标下表现优越或相当。
三维高斯溅射(3D Gaussian Splatting,3DGS)
2403_85515624的博客
03-14 1573
它通过使用3D高斯函数来表示场景中的点，并将这些高斯函数投影到2D图像平面上进行渲染。这项技术自2023年由Kerbl等人在 ACM Siggraph会议上首次提出以来，因其出色的渲染质量和实时性能而受到学术界和工业界的广泛关注。下图为3DGS算法的流程以下为原文中3DGS效果的展示备注：峰值信噪比(Peak Signal to Noise Ratio,PSNR)是图像质量评价领域最常用且历史最悠久的算法，基于两张图像之间的均方误差，可以进一步计算两张图像之间的PSNR值；
Deblurring 3D Gaussian Splatting去模糊3D高斯溅射
04-11 1614
Recent studies in Radiance Fields have paved the robust way for novel view synthesis with their photorealistic rendering quality. Nevertheless, they usually employ neural networks and volumetric rendering, which are costly to train and impede their broad u
3D高斯泼溅的崛起【三维重建】
新缸中之脑
04-08 6494
3D 高斯分布是计算机图形学中的一项复杂技术，它通过将点或“splats”从点云投影到 3D 空间，并为每个 splat 使用高斯函数来创建高保真、逼真的 3D 场景。该技术支持复杂的依赖于视图的视觉效果，并通过产生动态且逼真的可视化效果超越了传统的点云渲染。今年在 SIGGRAPH 2023 上发表了一篇最受欢迎的研究论文，详细解释了用于实时辐射场渲染的 3D 高斯分布的技术细节（全文和 git 存储库可在线公开获取），引发了人们对这一主题的新兴。
【论文阅读 | 三维重建】3D Gaussian Splatting for Real-Time Radiance Field Rendering（3DGS）
进阶中的程序员吃吃的博客
05-15 9084
对3DGS原文进行翻译，以及部分理解。
用3D高斯泼溅(3DGS)重建自己的数据
木盏
03-05 9051
几乎可以下结论：3D Gaussian Splatting(3DGS)技术的出现，宣告了NeRF时代的结束。一个集高渲染质量、分钟级重建速度、实时渲染速度为一身的三维重建算法3DGS，毫无疑问开创了一个新的时代。本文不对3DGS的原理做太深入的解读，只做实验。，因为colmap会默认选用【SIMPLE_RADIAL】，而这个是3DGS不支持的模式。folder_A是数据路径，folder_B是结果路径。本文由本人亲自整理，实验获得成功。一个图像文件夹，每个视角各一张图片，命名方式如上。
Deblurring-3D-Gaussian-Splatting代码解读
最新发布
weixin_58247017的博客
04-03 613
0]，llffhhold是7，cam_infos是27个，train_cam_infos有23个，索引是[1, 2, 3, 4, 5, 6, 8, 9, 10, 11, 12, 13, 15, 16, 17, 18, 19, 20, 22, 23, 24, 25, 26]通过同时优化MLP和高斯参数，MLP学习如何将清晰的高斯参数转换为模糊的参数，而高斯参数本身被优化，使得在去除MLP的影响后，它们本身已经足够准确表示清晰场景。图中训练阶段的模糊建模管道（虚线 / 点线箭头）清晰展示了这一逻辑。
【三维重建】SpotlessSplats：去除瞬态干扰物的三维高斯喷溅（3DGS）
qq_45752541的博客
08-12 2993
三维高斯喷溅（3DGS）是一种最新的三维重建技术，提供了高效的训练和渲染速度，使其适用于实时应用。然而，目前的方法需要高度控制的环境——没有移动的人或风吹的元素，以及一致的照明——以满足3DGS的视图间一致性假设。这使得重建现实世界的捕获成为问题。我们提出了无斑点斑图，一种利用预训练和通用特征结合鲁棒优化来有效地忽略瞬态干扰物的方法。我们的方法实现了最先进的重建质量。利用神经辐射场（NeRF）和最近的三维高斯喷溅（3DGS）从二维图像中重建三维场景一直是视觉研究的热点。
117篇 | 3D Gaussian Splatting论文
一点人工一点智能的博客
05-03 907
本论文集划分为4个部分：综述&基础（14篇）、NeRF在AIGC（54篇）、NeRF在SLAM（自动驾驶）（25篇）、NeRF之场景建模（25篇）
3D Gaussian Splatting 论文学习
dragonylee的博客
09-10 1293
将场景中的物体投影到渲染平面：传统的渲染管线就是这种方式，主要针对Mesh数据，可以将顶点直接投影成2D的形式，配合光栅化、深度测试、Alpha混合等就可以得到渲染的图像。从相机到像素发出一条射线与场景物体交互去计算沿着射线的颜色积分：例如光线追踪，去计算光线和Mesh的光学行为（反射等）来得到像素的颜色值；或是体渲染，对于体数据或是隐式的场景表达（NeRF）通过采样的方式来计算一个光线上的离散的积分，得到最终的颜色。
3D 高斯泼溅(Gaussian Splatting)-3D重建的3DGS时代
wishchinYang的专栏
05-17 3940
3D重建自从NeRfs出现之后又热闹了一次，3D GS技术一时间燃变了整个三维重建和Slam领域，几个月不见，沧海桑田。3D 高斯泼溅（Splatting）是，它允许实时渲染从小图像样本中学习到的逼真场景。从点云/多面体 到场景渲染，是一个异常 经验性的过程。SIGGRAPH 2023论文奖公布，山大、港大获奖，北大、腾讯光子获提名 - 知乎机器之心报道， 编辑：蛋酱、小舟。近日，计算机图形学及互交技术顶会 SIGGRAPH 2023 公布了今年的技术论文奖项。
【论文笔记】3D Gaussian Splatting for Real-Time Radiance Field Rendering
weixin_45657478的博客
12-22 6668
【论文笔记】3D Gaussian Splatting for Real-Time Radiance Field Rendering
高斯泼溅（Gaussian Splatting）：3D建模的颠覆性革命
yingtu666的博客
02-23 1162
高斯泼溅（Gaussian Splatting）：3D建模的颠覆性革命
3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】
热门推荐
学姐带你玩AI的博客
01-08 1万+
CV玩家们，知道吗？对，就是计算机视觉最近的新宠，在几个月内席卷三维视觉和SLAM领域的3D高斯。不太了解也没关系，我今天就来和同学们一起聊聊这个话题。如果说NeRF等辐射场方法彻底改变了多张照片或视频主导的场景新视角合成的算法生态，那么3D高斯则是在NeRF的基础上，做到了在保持有竞争力的训练时间的同时实现最先进的视觉质量。
论文翻译：3D Gaussian Splatting for Real-Time Radiance Field Rendering
旭先森
09-01 1794
3DGS论文翻译
3D Gaussian Splatting for Real-Time Radiance Field Rendering 论文阅读
气派飞鹰的博客
05-10 523
如此热门的项目，网络上有很多大牛分析了这篇文章的做法，在这里简单记录一下个人粗浅的理解。关于各种数学表达式的推导，论文和参考资料中都提供了较为详细的解读，本人能力有限，这一部分理解不够深刻，先不做记录。
论文阅读：3D Gaussian Splatting for Real-Time Radiance Field Rendering
fishfuck的博客
08-11 940
辐射场方法最近彻底改变了用多张照片或视频捕获的场景的新颖视角合成。然而，要获得高视觉质量，仍然需要训练和渲染成本高昂的神经网络，而最近更快的方法不可避免地要牺牲速度来换取质量。对于无界和完整的场景(而不是孤立的对象)和1080p分辨率的渲染，目前还没有一种方法可以达到实时显示速率。我们引入了三个关键元素，使我们能够在保持有竞争力的训练时间的同时获得最先进的视觉质量，并重要的是允许在1080p分辨率下进行高质量的实时(≥30 fps)新颖视图合成。
高斯溅射:三维重建与新视角合成的革命性技术
步子哥的博客
08-03 2342
在计算机视觉和图形学领域,三维重建和新视角合成一直是备受关注的研究热点。传统方法如摄影测量和多视角立体视觉在处理复杂场景时往往面临诸多挑战。近年来,基于深度学习的方法,如神经辐射场(NeRF),在这一领域取得了显著进展。然而,这些方法仍存在渲染速度慢、训练时间长等问题。2023年6月,Kerbl等人[1]提出的高斯溅射(3D Gaussian Splatting)技术为三维重建和新视角合成领域带来了革命性的突破。
3D高斯泼溅
03-12
3D高斯泼溅效果可能指的是在三维空间中模拟类似液体飞溅的效果，使用高斯分布来渲染粒子，使其看起来更自然。这可能用于游戏特效、科学可视化或动画制作。 接下来，我需要回忆相关的图形学知识。高斯泼溅通常涉及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值