渲染算法学习（一）-- Shadow Mapping

Introduction

  Vulkan 的学习算告一段落了。下一个阶段是图形基础的复习与学习。这里以Games的课程入手，通过Games课程的学习， 再使用Vulkan实现经典的图形算法， 这样一举两得!

• 使用课程的地址：http://games-cn.org/

  首先从Games 渲染课程开始。老本行，容易上手，毕竟需要自己搭建学习使用的Vulkan框架。需要时间做调整。渲染课程结束后再学习其他课程。从Games202开始（101跟过课程）， 其实202中的内容也差不多都接触过，但很久没看论文了，有必要做一下恢复性训练#109。

Shadow Mapping

   阴影算是我的入行第一课，虽然阴影算法实现不难，但是向一个陌生架构的引擎里塞新功能还是有挑战的！

复习的阴影算法: Games课程讲的阴影算法：

• 2-Pass Algorithm Shadow Mapping
• Percentage Closer Soft Shadows （PCF）
• Variance Soft Shadow Mapping
• Moment Shadow Mapping
• Distance Field Soft Shadows

2-Pass Algorithm Shadow Mapping

阴影生成分为两个 PASS

• Pass1
  • 用以光源为相机的视图渲染一张场景的深度图像
• Pass2
  • 使用当前相机视图渲染场景
  • 将当前相机染视渲图中的可见点投影回光源视图中
  • 判断当前着色点深度值与该点在光源视图中的深度值大小确定是否有阴影
• 阴影生成实现 (Vulkan Samples - shadowmapping)
  • 生成以光源为相机视图的场景深度图
  • 渲染当前场景
    • VS中 使用光源视图的MVP矩阵乘以当前着色点, 再乘以 bias 矩阵, 将着色点投影到光源视图中
      • 得到投影后的向量inShadowCoord(其实就是当前着色点在深度贴图中像素坐标, Z/W为深度)
    • FS中计算遮挡
      • 获取当前着色点在深度贴图中uv坐标
        • inShadowCoord/inShadowCoord/w
      • inShadowCoord.z 与 深度贴图中对应位置的深度值做比较.
      • 如果 inShadowCoord.z 大于该深度值即遮挡
    • 在输出最终着色颜色时, 根据遮挡情况乘以一个常量表示阴影
      • diffuse * shadow
      • shadow(一般使用visibility)不遮挡是为1, 遮挡时设置为小于1的数即可
  • 问题
    • 自遮挡
      • 精度误差
      • 当前着色点在光源视图中的投影深度不在此深度贴图中
        • 由于深度贴图受限于贴图分辨率, 有可能获取当前着色点在光源视图中深度值时, 其所对应的深度值不是该着色点在光源视图的深度(因为深度贴图保存的是离散值), 从而可能产生自遮挡. (相机观察方向与地面夹角越大, 越明显. 当相机观察方向与地面垂直时不会出现自遮挡问题)
    • 自遮挡解决办法
      • 增加bais
        • 虽然深度贴图保存的是离散值, 但是着色点投影到光源视图的深度值与深度贴图对应的深度值的差异不会太大. 在比较两个深度值时, 使用一个可变变量bais来控制自遮挡问题的出现.
    • 不接触阴影(Detached Shadow)
      • 引入bais虽然能规避自遮挡问题, 但是会出现Detached Shadow. 这是显而易见的, 当着色点在光源视图中的投影值与深度贴图中对应深度值差值小于等于bais值时会被认为不遮挡.
    • 走样 (Aliasing)
      • 阴影受限于深度贴图分辨率, 因此走样是必然的.
      • 解决办法: Cascaded Shadow Mapping

Approximation In Shadow Mapping

• 实时渲染中的两个注意事项
  • 实时渲染不相信复杂度
  • 不等式的应用: 不关心不等, 更关心近似相等
    • 因此可以使用一些经典不等式解决实时渲染中的问题
• 实时渲染中重要的近似公式

$${\int }_{\Omega }f(x)g(x)dx\approx \frac{{\int }_{\Omega }f(x)dx}{{\int }_{\Omega }dx}\cdot {\int }_{\Omega }g(x)dx\text{\hspace{1em}(1)}$$

• 实时渲染的渲染方程:
  $$L_o(p,{\omega }_0)={\int }_{{\Omega }^{+}}{L}_i(p,{\omega }_i)f_r(p,{\omega }_i,{\omega }_o)cos{\theta }_{i}V(p,{\omega }_i)d{\omega }_i\text{\hspace{1em}(2)}$$
  其中:
  • $L_o(p,{\omega }_0)$ 是出射光线(outgoing lighting)
  • $L_i(p,{\omega }_i)$ 是入射光线(incident lighting)
  • $f_r(p,{\omega }_i,{\omega }_o)cos{\theta }_i$是BRDF
  • $V(p,{\omega }_i)$ 是visibility(可见性, 主要指阴影)
  • $p$当前着色点
  • ${\omega }_i$表示方向
• 将visibility项从渲染方程拆出可使用公式(1), 即得
  $$L_o(p,{\omega }_0)\approx \frac{{\int }_{{\Omega }^{+}}V(p,{\omega }_i)d{\omega }_i}{{\int }_{{\Omega }^{+}}d{\omega }_i}\cdot {\int }_{{\Omega }^{+}}{L}_i(p,{\omega }_i)f_r(p,{\omega }_i,{\omega }_o)cos{\theta }_{i}d{\omega }_i\text{\hspace{1em}(3)}$$
• 该近似方程(公式3)成立, 即shadow mapping准确需满足以下条件之一:
  • 积分范围极小时 ($\Delta$)(点光源, 定向光)
  • 当不包含visibility项的部分(积分)光滑的情况, 即低频时
    • 光源光滑(smooth): 面光源
    • 着色点(shading point): diffuse

Percentage Closer Soft Shadows （PCF）

• Percentage Closer Filtering
  • PCF在实时渲染中一般用于解决抗锯齿问题
    • 因此阴影抗锯齿也同样可以使用PCF
      • 思想
        • 在Pass-2中做阴影贴图深度比较时, 不仅仅比较当前着色点在光源视图投影值与深度贴图深度值, 还要比较深度贴图该投影点uv坐标周围像素的深度值.
        • 然后将这些比较的结果做平均获取得到visibility
• Percentage Closer Soft Shadows
  • PCSS是基于PCF思想产生半影
    $$w_{Penumbra}=(d_{Receiver}-d_{Blocker})\cdot w_{Light}/d_{Blocker}\text{\hspace{1em}(4)}$$
    其中:
    • $w_{Penumbra}$为最后所得半影宽度
    • $d_{Receiver}$为光源到阴影接受物的距离
    • $d_{Blocker}$为遮挡物与接受物的距离
      • 距离的计算: 当遮挡物为一个区域时
        • 使用所有遮挡物深度值的平均值
    • $w_{Light}$为光源的大小(点光源与定向光无软阴影)
• PCSS阴影生成的步骤
  • 查找遮挡物(Blocker search)
    • 获得某一区域遮挡物的平均深度
      • 在阴影深度贴图中查找，找到所有比接受物更靠近光源的像素(即遮挡物)，把这些深度值做平均
  • 半影估计(Penumbra estimation)
    • 使用公式(4)获取半影
      • 估计半影的宽度
  • PCF(Percentage Closer Filtering)
    • 使用PCF方法生成最终阴影
      • PCF的采样区域与半影宽度成正比
• 查找区域的大小由光源大小和接受物与光源的距离决定, PFC的采样可以使用固定值, 如5*5.
  • 采样范围可以使用光源到接受物形成的椎体确定
  • 取决于光源大小
  • 以及接收物与光源的距离
  • 如下图所示: (图出自GAMES202_Lecture_03(引用Fernando et al.))
    

PCF 的理论

• Filter/Convolution

   如果对某个函数做滤波/卷积( Filter/Convolution), 可以记作:

$$[w\ast f](p)=\sum _{q\in \mathrm{N}(p)}w(p,q)f(q)\text{\hspace{1em}(5)}$$

• 其中:

  • $[w\ast f](p)$为滤波函数, 表示使用权重$w$对函数$f(p)$做卷积的结果
  • $q\in \mathrm{N}(p)$表示函数$f(p)$中点$p$的所有邻域点
  • $w(p,q)$表示点$p$在点$q$处所对应的权重
  • $\sum _{q\in \mathrm{N}(p)}w(p,q)f(q)$ 求和, 即最终得到点$p$处的滤波值

• In PCSS
  $$V(x)=\sum _{q\in \mathrm{N}(p)}w(p,q)\cdot {\chi }^{+}[D_{SM}(q)-D_{scene}(x)]\text{\hspace{1em}(6)}$$

  • 其中:
    • ${\chi }^{+}[D_{SM}(q)-D_{scene}(x)]$为阶梯函数 – 符号函数,
      • $D_{SM}(q)$表示点$q$在shadow map 中的深度值, 即$q$到光源的距离
      • $D_{scene}(x)$表示在场景中点$x$投影到光源视图空间中, 与光源的距离.
      • $D_{SM}(q)-D_{scene}(x)$其实就是就是判断点$p$($x$投影点)是否被遮挡, 即是否有阴影(小于0有阴影(visibility = 0), 大于0则无 (visibility = 1))
  • 公式(6)表示: 对于任意一个shading point ($x$), 即场景中的某一个位置, 考虑它投影到光源视图中的像素位置$p$邻域点$q_i$所对应的shading point是否能遮挡$x$. 比较的结果 ${\chi }^{+}$(kai) 加权平为$x$的visibility.
  • 疑问: 求平均在公式哪里体现出来的. 应该是$w(p,q)$权重函数为$w/count$.

• PCF不是在对阴影贴图进行滤波, 即:

  V ( x ) ≠ χ + { [ w ∗ D S M ] ( q ) − D s c e n e ( x ) } (7) \tag7V(x) \not= \chi^+\{[w\ast D_{SM}](q)-D_{scene}(x)\} V(x)​=χ+{[w∗DSM​](q)−Dscene​(x)}(7)

  • 其中:
    • $[w\ast D_{SM}](q)$对$x$投影到光源视图中的像素位置$p$的邻域点$q_i$对应的阴影贴图中深度值做加权平均
  • 公式(7)可以看出,对阴影贴图进行滤波后再使用符号函数 ${\chi }^{+}$所得到结果visibility依然是非0即1的. 所以公式(7)无意义.

• 同时PCF也不是对阴影渲染结果进行滤波, 即:
  $$V(x)\ne \sum _{q\in \mathrm{N}(p)}w(p,q)V(q)\text{\hspace{1em}(8)}$$

  • 公式(8)其实是抗锯齿的过程

Variance Soft Shadow Mapping

• 思想
  • PCSS算法的第三步是利用公式(6)得到所有遮挡物visibility的平均值, 而这个平均值可以看做遮挡该着色点的遮挡物的百分比(即, 在一个区域中,遮挡着色点的遮挡物占整个区域的百分比).
  • 该百分比可以使用正态分布近似获得
    • 判断一个区域内有多少个遮挡物遮挡着色点, 是利用$D_{SM}(q)-D_{scene}(x)$获得. 从公式(6)中可以看出, 其实就是依次比较该区域所有像素的深度值. 即可以看做寻找该着色点深度值在遮挡区域所有深度值中的排名(百分比).
    • 正态分布的定义:
      $$\mathrm{N}(\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})\text{\hspace{1em}(9)}$$
      其中:
      • $\mu$为均值
      • ${\sigma }^2$为方差
      • $\exp ()$为以自然常数$e$为底的指数函数
      • 从公式(9)可以看出, 已知均值和方差即可获得一个正态分布函数
  • 快速计算区域内深度的平均值和方差
    • 期望的获得, 即均值
      • mipmap
        • 局限性: 区域为正方形
      • Summed Area Tables (SAT)
    • 方差的获得
      • 对于任意一个随机变量$X$有:
        • $X$的方差 = $X$的平方值的期望 - $X$的期望的平方
        • $Var(X)=E(X^2)-E^2(X)$
        • 其中 $X^2$获得: 在Pass_1深度贴图其他通道中保存片元深度值的平方即可
  • 如何确定着色点遮挡物的百分比
    • PDF 概率密度函数（probability density function）
      • PDF指: 描述一个随机变量的输出值, 在某个确定的取值点附近的可能性的函数.
      • 对于一维实随机变量$X$, 设它的累计分布函数$F_X(x)$. 如果存在可测函数$f_X(x)$, 满足:
        $$F_X(x)={\int }_{-\infty }^x{f}_X(t)dt\text{\hspace{1em}(10)}$$
        那么$X$是一个连续型随机变量， 并且$f_X(x)$是它的概率密度函数
    • CDF 累积分布函数 (cumulative distribution function)
      • PDF的积分。即：$F_X(x)$，描述一个实随机变量$X$的概率分布
    • 高斯PDF(正态分布PDF)的CDF， 对于PDF 积分值可以打出一张表. 即(error function 误差函数)
      • c++的 erf 函数可以获得高斯PDF的数值解(CDF没有解析解, 只有数值解)
    • 利用高斯PDF的CDF去估计遮挡物占整个计算区域的百分比, 需要求解CDF. 虽然可以使用打表或者像erf这样的函数. 但是依然较为复杂.
    • 利用切比雪夫不等式（Chebychev’s inequality）, 可以不用计算CDF, 即可得到一个近似的概率分布
      $$P(x>t)\le \frac{{\sigma }^2}{{\sigma }^2+(t-\mu {)}^2}\text{\hspace{1em}(11)}$$
      • 一个随机变量超过某个值($t$)的概率, 不需要知道该随机变量满足的具体分布, 只需要知道这个分布的期望和方差, 即可获得大于$t$的概率
      • 也可以解释为: 对任意分布, 已知方差和期望, 这个分布中超过某个值的面积不会超过上界( $\frac{{\sigma }^2}{{\sigma }^2+(t-\mu {)}^2}$). 即可近似获得CDF值.
      • 该不等式成立的条件: $t$必须在均值的右边
• 如何获得着色点的遮挡物的平均深度(VSSM第一步)
  • 可以根据切比雪夫不等式获得遮挡物的占整个检索区域的百分比
  • 设遮挡物的平均深度为$Z_{occ}$, 非遮挡物的平均深度为$Z_{unocc}$, 整个检索区域的平均深度为$Z_{Avg}$（可由mipmap获得）， 有：
    $$\frac{N_1}{N}{Z}_{unocc}+\frac{N_2}{N}{Z}_{occ}=Z_{Avg}\text{\hspace{1em}(12)}$$
    • 由切比雪夫不等式可得$\frac{N_1}{N}=P(x>t)$
    • $\frac{N_2}{N}=1-P(x>t)$
    • $Z_{unocc}$假设与该着色点的深度相同
    • 即可得到遮挡物的平均深度$Z_{occ}$
      • 由于假设$Z_{unocc}$与该着色点的深度相同， 因此接收物（阴影接收物体， 如地板）必须是平面。 如果非平面（曲面）， 或者光源倾斜时，该估计会有问题。
      • 当光源移动或物体移动时， mipmap需要更新
• 如何获得着色点的visibility(VSSM第三步)
  • 首先计算遮挡区域的平均深度, 判断遮挡(不遮挡visibility为0)
  • 然后估计半影区域
  • 获得半影区域内的深度值的期望和方差
  • 最后使用切比雪夫不等式获得最终的visibility
    $$visibility=1-(visibility\ast (1-P(x>t)))\text{\hspace{1em}(13)}$$
• SAT for Range Query
  • SAT数据结构使用了前缀和思想
    • 如一维数组的SAT: SAT数组上任何一个元素都是原始数组中从最左边元素一直加到该元素的和.
    • 查询原始数组中某一段数据的和:
      • SAT中该数据段起点前面一个元素值与SAT中该数据段终点位置元素值的差值.
    • 预处理, 即建立SAT数据结构时间复杂度为$O(n)$
  • 二维数组的SAT数据结构建立与一维相同, 只需保存数组$[0,0]$位置到该像素位置围成的方形区域内所有元素之和.
    • 实现方式: 每行元素做一维SAT, 然后在此基础上每列做一维SAT
    • 可以使用GPU加速获得
  • 求二维数组某一区域内所有元素之和只需查表四次, 获得左上、右上、左下、右下四个位置对应的SAT数据
    $$Sum=SA{T}_{rightdown}-SA{T}_{leftdown}-SA{T}_{righttop}+SA{T}_{lefttop}\text{\hspace{1em}(14)}$$
• VSSM的缺陷
  • 当遮挡物的深度值不符合正态分布时(其实就是当分布为多峰分布时)
    • non-planarity artifact (伪影)(Overly dark)
    • Light leaking(漏光)(Overly bright)
    • 一般当遮挡物越复杂, 其深度值越接近单峰分布, VSSM效果越好
    • 最终可以定义为, 由于分布描述不准确导致VSSM效果不好

Moment Shadow Mapping

• MSM是为了解决VSSM 分布描述不准确的问题
  • 思想: 使用更高阶矩表示分布
    • 高阶距就是使用元素$x$、$x^2$、$x^3$、$x^4$ $...$ 组成的函数来表示一个分布
      • VSSM中使用了 $x$ 和 $x^2$，所以是一个使用了两阶矩组成的函数来表示分布
      • 而MSM是利用更多阶的矩来定义分布函数，以获得描述更准确的分布。（MSM使用四阶矩）
  • 实现步骤： VSSM相同
    • 在获得光源视图深度值时，不仅保存 $x$ 和 $x^2$ 的值，还需保存$x^3$ 和 $x^4$
    • 计算遮挡区域的平均深度
    • 估计半影区域
    • 使用高阶矩定义的分布函数估计visibility（略）
  • 优缺点
    • 优点： 可以解决VSSM漏光和伪影的问题
    • 缺点：增加内存开销，复杂分布函数的相关计算更为复杂，会导致程序性能的下降

Distance Field Soft Shadows

• Distance functions

  • 对于空间中的任何一点，其到某个物体表面上最近的一个点距离(即 该点到场景所有物体表面的最小距离).

• 有向距离场 SDF(signed distance field)

  • 可以做任何不同模型的blend(混合)
    • 理论: 最优传输(顾险峰老师)

• 利用距离场做阴影的优缺点

  • 优点: SDF阴影比传统阴影(shadow maps) 要更快速
  • 缺点: 它需要很高的存储开销

• 距离场的应用

  • Ray marching 光线追踪.
    • 思想: 追踪距离场, 判断光线与哪个物体表面相交
      • 最简单的光线追踪: sphere tracing
    • 原理
      • 任意一点SDF可以确定该点在SDF距离范围内不与任何物体相交
      • 如果不相交, 将该点按照光线方向移动SDF长度
      • 查找移动后点的SDF值, 继续判断是否与物体相交
      • 重复上述过程, 直到追踪点的SDF小于某个距离(极小), 或光线传播一定距离也没相交
    • 缺点
      • 空间内任何一点, 都要算出SDF, 需要大量存储空间. (存储压缩(优化))
      • 刚性运动物体不影响追踪, 但是物体形变必须重计算SDF
    • 计算
      • 计算空间中每个点与单个物体SDF
      • 计算空间中每个点的SDF就是该点对整个场景所有物体SDF的最小值
  • 使用SDF估计遮挡(近似估计, 不准确)
    • 安全距离-安全角度
      • 安全距离: 追踪点的SDF
      • 安全角度: 着色点发出的光线与着色点和遮挡顶点形成向量( Sphere Tracing 圆的切线)之间的夹角
    • Safe Angle 越小, 能够看到的东西越少, 遮挡物较多. 即visibility越小, 越黑(阴影浓度越大)
    • 获得安全角度
      • 从着色点出发, Ray Marching, 获取每个SDF的安全角度, 最小的一个是最终安全角度.
        $$\arcsin \frac{SDF(p)}{||p-o||}\text{\hspace{1em}(15)}$$
        其中,
        • $p$ 为当前Ray Marching顶点位置(光线移动到哪个点)
        • $SDF(p)$ 为当前Ray Marching顶点与遮挡顶点之间的距离(即: 该顶点的SDF)
        • $||p-o||$为着色点与当前Ray Marching顶点之间的距离
      • 避免反三角: 在进行GPU计算时, 尽量减少反三角函数这样的复杂运算
      • *我觉得这里使用$\arctan$在几何意义上是相对正确的, $\arcsin$有点牵强. 因为当$SDF(p)$大于$||p-o||$时(在SDF中不存在$SDF(p)$大于$||p-o||$的值)光线与Sphere 相交, 无法确定切线. (个人理解)
      • 优化公式(15)
        m i n { k ⋅ S D F ( p ) ∣ ∣ p − o ∣ ∣ , 1 } (16) \tag{16}min\{\cfrac{k \cdot SDF(p)}{||p-o||}, 1\} min{∣∣p−o∣∣k⋅SDF(p)​,1}(16)

        • 利用 $\frac{k\cdot SDF(p)}{||p-o||}$近似代替反三角函数, 因为求安全角度是为了获得遮挡物占整个区域的百分比, 而比值即可反应这一问题.

        • $k$为权重

          • $k=1$ 时, 比值的取值范围在0-1之间, 即被认定为有阴影
            • $\frac{SDF(p)}{||p-o||}\le 1$.(如果该值等于1, 则安全角度为90度, 此时光线追踪顶点与着色点和遮挡物距离相同(着色点可能就是遮挡物), 大于1时, 安全角度大于90度无意义, 因为无法确定切线)–(这种解释确实牵强, 还是使用$\arctan$理解更好一些)
            • $\arctan$解释: 当安全角度大于45度时(即比值大于1时)(着色点到光线当前追踪的顶点$p$距离小于$p$到遮挡物的距离. 在SDF$(p)$中不存在这样的值)
          • $k=5$时, 比值取值范围在0-0.2,即被认定为有阴影(阴影效果: 偏硬阴影)
          • $k=100$, 过渡带0-0.01
          • …

        • k的值大的时候, 很小的安全角度可使公式(16)的值为1. 也表示0-1的过渡带就小, 半影区域越小

        • 因此k可以控制阴影的软硬

• Distance Field Soft Shadows 优缺点

  • 优点:
    • 不会有自遮挡和阴影悬浮的问题
    • SDF阴影比传统阴影更快速
  • 缺点:
    • 需要与计算, 存储开销大
    • 有artifact
    • 使用SDF的模型贴纹理较为困难

小结

   对阴影算法进行了强化学习. 重点是从数学模型角度去理解各类阴影算法的实现. 笔记中有些地方增加了一些对阴影算法数学模型的个人理解.(有些理解可能有误)