【3D 重建】NeRF，3D Gaussian Splatting

AI 甘安捏【入门介绍，形象生动】

from： https://www.youtube.com/watch?v=4a0dPzS4UKs&list=PLvb7aLDliV9lASjAnv62IgGd4Ap6e2gt6&index=4

3D 重建技術 (一): 什麼是 3D 重建 (3D Reconstruction)？為什麼需要 3D 重建？【NeRF，3D Gaussian Splatting简介】

3,372次观看 2023年10月17日 #ai繪圖 #ai #assassinscreed
來開一個新系列，講講一個computer vision 中很經典而且重要的題目，3D 重建 (3D reconstruction)。這幾年3D reconstruction技術上有革命性的進展，這個技術就是 Neural Radiance Field ，簡稱 NeRF。在 Diffusion Model 紅起來之前，NeRF 是當時學術圈的顯學，走路撞到一個研究員可能都是在做NeRF 相關的研究，但一般大眾沒意外應該沒怎麼聽過這個東西。但在這幾個月，因為另一個突破性發展 3D Gaussian Splatting，開始讓 3D重建技術進入大家的視野。因為他特有的一些優秀性質，據我所知已經有不少公司開始利用 3D Gaussian Splatting 把一些 3D 重建技術導入產品中。所以我覺得現在可能是個不錯的時間來介紹一下這些3D 建相關的東西。這個系列可能會有個四五集，希望我能把這些東西都cover完囉~

00:00 開場
01:05 什麼是 3D 重建
02:28 為什麼需要 3D 重建
06:08 結語

3D 重建技術 (二): NeRF，AI技術革命 – 用神經網路把場景「背」下來！

4,040次观看 2023年10月26日 #mesh #unrealengine #ai繪圖
NeRF (Neural Radiance Field) 是在 2020 年，3D重建技術的一個重大革新，一時之間，幾乎半個學術圈都在做相關的研究。今天就來介紹一下這個 NeRF 大概在做麼吧！為了理解它，我還會帶到幾個重要的概念像是渲染 (Render)、光線追蹤 (Ray Tracing)、顯/隱式表示法 (Explicit/Implicit Representation) 等等。希望大家看完之外能對 NeRF 有初步了理解！

00:00 開場
00:45 NeRF出現前的3D 重建
01:43 什麼是 Render
03:39 什麼是 Ray Tracing
04:51 什麼是 Implicit Representation
09:27 什麼是 NeRF (Neural Radiance Field)
12:23 結語

3D 重建技術 (三): 3D Gaussian Splatting，讓 3D 重建從學術走向實際應用的革新技術！用彩色橢圓球球表示場景！

from: https://www.youtube.com/watch?v=UxP1ruyFOAQ
8,897次观看 2023年11月9日 #mesh #unrealengine #ai繪圖
幾個月前，3D Gaussian Splatting 的出現在學術圈和業界引起一陣旋風。它基於 NeRF 的訓練架構，提出了簡單卻 game changing 的改良，讓整個 3D 重建不論是訓練或是部署的速度都快了兩個數量級，而且可以直接在各個 3D 引擎中import，甚至在網頁或手機上也都能 real time 的使用。它做了什麼改變呢？

00:00 3D Gaussian Splatting 的各種應用
01:57 NeRF 的主要問題
03:02 Ray Tracing v.s. Rasterization
07:43 3D Gaussian 是什麼
09:38 從NeRF到3D Gaussian Splatting
11:25 實際例子
12:30 結語

3D 重建技術 (四): 從影片中去重建 4D！4D又有什麼潛在應用呢？

3,365次观看 2023年12月5日 #mesh #unrealengine #ai繪圖
比起靜止不動的3D，現實生活中各種動起來的3D，也就是4D，才是我們的最終目標。不論是4D重建或是4D生成，都是在今後的AR/VR/MR和各類應用中不可或缺的。今天就來介紹一下4D的可能應用以及目前4D重建的兩大類方法，也會提一下3D Gaussian Splatting 在目前 4D 的使用情況。

---

相關閱謮
(方法一)
Space-time Neural Irradiance Fields for Free-Viewpoint Video
– https://arxiv.org/pdf/2011.12950.pdf
Dynamic View Synthesis from Dynamic Monocular Video
– https://arxiv.org/pdf/2105.06468.pdf
(方法二)
Nerfies: Deformable Neural Radiance Fields
– https://nerfies.github.io/
HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
– https://hypernerf.github.io/
D-NeRF: Neural Radiance Fields for Dynamic Scenes
– https://www.albertpumarola.com/resear…
(Gaussian Splatting 相關)
Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction
– https://ingra14m.github.io/Deformable…
4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
– https://guanjunwu.github.io/4dgs/
PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics
– https://xpandora.github.io/PhysGaussian/