HexPlane论文阅读笔记__简略叙述版

总述：

在每一个时间戳下，获取到当前时刻的（x，y，z，t）

分别四维特征输入Deep MLP 和 HexPlane 中

HexPlane

• 在 t 时刻，HexPlane 会使用平面提取算法提取物体六个平面的的特征向量， 这些平面分别表示动态场景的不同方面。
• 然后将每个平面的特征向量进行融合，得到各个点的综合特征
• 然后链接一个小型的MLP来回归输出颜色和密度
• 最后进行新视角渲染合成

Deep MLP

• 使用四维已知特征向量输入深度学习网络
• 直接回归输出颜色和密度

为什么会输出两组颜色和密度？

• 小型的MLP可能无法很好地捕捉到复杂的动态场景中的细节和变化。
• 而深度MLP能够学习到更复杂的特征表示。因此，为了进一步提高输出结果的质量，论文中引入了一个深度MLP网络来对颜色和σ进行再次回归。
• 通过使用深度MLP，HexPlane能够在保持高效性的同时，实现更准确和真实的输出结果。

详解HexPlane

• 由XY-ZT、XZ-YT、YZ-XT两两融合之后，再次把融合后的三组特征向量再次融合成一个向量
• 把这个向量分别乘与 V ，然后分别输出密度 σ 和颜色 RGB
• 使用密度 σ 和 颜色 RGB 进行体渲染
• 最后就可得到 渲染图像和目标图像之间的光度损失，来监督训练网络

本文贡献

• 传统方法依赖于隐式表示，需要进行多次多层感知机（MLP）的评估，导致速度较慢。而HexPlane通过学习特征的六个平面来明确地表示动态场景，具有 高效性。

可继续深入之处

• 动态场景的分解方式——不继续使用六平面分解
• 当前方法依赖于体积渲染和小型多层感知机（MLP）进行训练，这会导致训练时间较长。
• 目前还不清楚在一些特殊情况下，如极端光照条件或复杂的动态场景中，HexPlane方法是否仍然有效。