法线图生成深度图

最新推荐文章于 2025-05-21 17:53:40 发布

原创最新推荐文章于 2025-05-21 17:53:40 发布 · 613 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#算法

3d渲染专栏收录该内容

72 篇文章

订阅专栏

这些方法没有测试实际效果

方法 1：积分法（Poisson 重建）

法线图提供的是表面梯度信息（∂Z/∂X 和 ∂Z/∂Y），我们可以通过 求解泊松方程（Poisson Equation） 来恢复深度图：

ΔZ=∇⋅N

其中：

Z(x,y)Z(x, y)Z(x,y) 是深度值
N(x,y)=(Nx,Ny,Nz)N(x, y) = (N_x, N_y, N_z)N(x,y)=(Nx,Ny,Nz) 是法线向量
需要解偏导数方程恢复 Z(x,y)Z(x, y)Z(x,y)

Python 实现：

import cv2
import numpy as np
from scipy.sparse.linalg import cg
from scipy.sparse import diags

def normal_to_depth(normal_map):
    """
    从法线图恢复深度图
    :param normal_map: (H, W, 3) 的 numpy 数组，范围在 [-1, 1] 之间
    :return: 归一化的深度图
    """
    h, w, _ = normal_map.shape
    nx, ny, nz = normal_map[..., 0], normal_map[..., 1], normal_map[..., 2]

    # 避免 nz 过小（防止除零）
    nz[nz == 0] = 1e-8  

    # 计算梯度
    dzdx = -nx / nz
    dzdy = -ny / nz

    # 设定泊松方程的系数矩阵
    A = diags([-1, -1, 4, -1, -1], [-w, -1, 0, 1, w], shape=(h*w, h*w))
    b = np.zeros(h*w)

    # 计算梯度的散度
    dzdx[:, -1] = 0  # 右边界处理
    dzdy[-1, :] = 0  # 下边界处理
    b[:-w] += dzdy[:-1, :].flatten()
    b[w:] -= dzdy[1:, :].flatten()
    b[:-1] += dzdx[:, :-1].flatten()
    b[1:] -= dzdx[:, 1:].flatten()

    # 解泊松方程
    depth, _ = cg(A, b)

    # 归一化到 [0, 1] 方便可视化
    depth = depth.reshape((h, w))
    depth = (depth - depth.min()) / (depth.max() - depth.min())

    return depth

# 读取法线图（需要是 [-1,1] 归一化）
normal_map = cv2.imread("normal_map.png").astype(np.float32) / 127.5 - 1
depth_map = normal_to_depth(normal_map)

cv2.imshow("Recovered Depth", (depth_map * 255).astype(np.uint8))
cv2.waitKey(0)
cv2.destroyAllWindows()

优点：

物理上更合理，能处理光滑过渡的表面
适用于曲面较平滑的场景

缺点：

计算量大，需要解偏微分方程（泊松重建）
对法线误差敏感，会影响深度恢复质量

方法 2：逐步积分法（梯度累加）

另一种更简单的方法是 逐步积分：

def integrate_gradients(nx, ny, nz):
    """
    从法线梯度积分计算深度
    :param nx, ny, nz: 法线分量
    :return: 归一化深度图
    """
    h, w = nx.shape
    depth = np.zeros((h, w), dtype=np.float32)

    for y in range(1, h):
        depth[y, 0] = depth[y - 1, 0] + ny[y, 0] / nz[y, 0]

    for x in range(1, w):
        depth[:, x] = depth[:, x - 1] + nx[:, x] / nz[:, x]

    depth = (depth - depth.min()) / (depth.max() - depth.min())  # 归一化
    return depth

depth_map = integrate_gradients(normal_map[..., 0], normal_map[..., 1], normal_map[..., 2])
cv2.imshow("Depth Map", (depth_map * 255).astype(np.uint8))
cv2.waitKey(0)
cv2.destroyAllWindows()

优点：

计算速度快，适合实时应用

缺点：

积累误差，容易导致深度不均匀

方法 3：深度学习（AI 估计）

如果想要 更高质量的恢复，可以使用深度学习，如 CNN 或 Transformer：

直接训练 CNN 进行法线 → 深度转换
使用 NeRF（Neural Radiance Fields） 从法线预测深度

例如，使用 TensorFlow/PyTorch 训练：

训练后可用于法线转换深度。

总结

方法	原理	适用场景	优缺点
泊松方程重建	通过散度计算深度	物理精确、表面平滑	计算复杂，适合高质量恢复
梯度积分	累加梯度恢复深度	需要连续表面，适用于小范围	计算快但误差大
深度学习	训练 CNN 预测深度	适用于任意形状	需要训练数据，计算开销大