【技术美术图形部分】实时阴影：光栅化与光线追踪

已于 2023-02-06 17:33:27 修改
阅读量1.1k 收藏 2
点赞数
分类专栏： 技术美术学习记录 文章标签： 技术美术
于 2023-02-06 17:33:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41835314/article/details/128890565
版权

1 实时阴影：光栅化

参考实时阴影技术总结

光栅化算法由于缺少全局信息，每个fragment不清楚全局光照的情况，因此实时阴影大部分是基于Shadow Map实现的。

需要预渲染储存深度信息，从光源渲染场景中每个点的深度值储存在深度纹理中，再从Camera视角出发开始渲染场景，与深度纹理一一比对以判断当前渲染fragment是否在阴影中。

简单的ShadowMap仅仅是硬阴影，实现软阴影就需要进一步对阴影边缘进行处理，按照最后的处理效果分类的话可以分为：

  • 一致性：PCF、CSM、VSM、ESM
  • 距离相关（半影）：PCSS

按处理方式可分为，

  • 过滤（filtering）阴影贴图：PCF、PCSS
  • 预过滤（pre-filtering）阴影贴图：VSM、ESM
  • 屏幕空间模糊

我们已知基础ShadowMap的算法表达式：

f(z)=H(z-d)

H(x)=0(x\geq 0),1(x< 0)  

其中，z为渲染时物体在光源空间下的深度，d为物体在Shadowmap采样获得的深度（遮挡物位置深度）。

1.1 PCF

Percentage-Closer Filtering，即百分比渐进过滤，这是一种很朴素的思想。不是要实现阴影边缘模糊吗？好，直接buff拉最大——直接对多重采样，即对f(z)进行滤波处理，阴影的质量通过控制采样数量（sample num）和采样步长（stride）决定。

缺点就很明显了，

  • 硬上多重采样，算法效率低，场景复杂度和滤波核大小十分影响性能（当然如果是PC端的话用PCF就绰绰有余了，对性能不会有太大的限制）
  • 不支持预滤波处理——不能mipmap

但是，性能上的不足目前硬件越来越厉害了，其实是慢慢在优化的，其次PCF与之后提到的CSM、VSM那些相比不需要其他的纹理格式，至今还是最通用的软阴影解决方案。 

1.2 CSM

Convolution Shadow Mapping，即卷积阴影，注意此CSM非彼CSM（Cascaded SM）。

基础Shadowmap记录的深度值要么是0要么是1对吧？0到1的突变就是造成阴影“硬”的原因，实现软阴影本质上就是让0到1突变别那么明显。CSM就是对f(z)的公式做了个fft（快速傅里叶变换），重构了shadowmap（截图自实时渲染中的软阴影技术）：

注意：截图中f(d,z)的d和z跟本文前面提到的H(z-d)中的d和z意义是反过来的。

 M要选择大于4的数，且M越大整个曲线将越接近原始样子，效果越好。

CSM与PCF相比优点在于，

  • 由于只是对Shadowmap进行预处理，因此场景复杂度并不影响性能
  • 支持预滤波，即可以在CSM之前对depth map做一个预blur

不足在于，M越大，阴影质量越高，但同时效率也越低。

1.3 VSM

Variance Shadow Map，即结合深度概率分布和切比雪夫不等式的方差阴影贴图，将阴影遮挡看作概率问题，使用单边切比雪夫不等式求得概率作为阴影值。

单边切比雪夫不等式

参考切比雪夫不等式到底是个什么概念?问题中各路大神的回答，简单总结一下：

切比雪夫不等式是刻画事物偏离它本质的偏离程度的大小的概率，将随机变量的期望和方差联系在了一起，不需要知道变量的整个分布，只需要知道标准差就可以估计出结果，其基本形式为，

P(\left |X-E(X) \right |\geq \varepsilon )\leq \frac{D(X)}{\varepsilon ^{2}}

式中，方差

D(X)=\int_{-\infty }^{+\infty }(X-E(X))^{2}dF(X)

E(X)是X的期望，F(X)是X的分布函数。

（单边的切比雪夫不等式） 描述了大于某一常数\varepsilon的概率P，

P(X-E(X) \geq \varepsilon )\leq \frac{D(X)}{\varepsilon ^{2}+D(X)}

VSM计算思路

  • Shadowmap中2个通道分别储存d和d^{2}：跟ShadowMap思路相同，需要先从光源处做一次光栅化，但不同的是不仅需要储存深度d还要储存深度平方d^{2}
  • 对Shadowmap进行滤波：对d和d^{^{2}}通道进行模糊处理（参考文章用的是box filter），获得期望深度和深度平方
  • 采样当前着色点p在Shadowmap中对应的期望深度E(d)和深度平方E(d^{2})，并计算方差， 

D(d)=E(d^{2})-E(d)

  •  求出光源空间下p的深度z：比较z和E(d)，如果z更小，那么无遮挡，直接返回1，如果z更大，进行下一步
  • 对应P(X-E(X) \geq \varepsilon )\leq \frac{D(X)}{\varepsilon ^{2}+D(X)}式中就是求出深度z偏移期望深度E(d)的概率，令\varepsilon =z-E(d)，则

P(X \geq z)\leq \frac{D(X)}{(z-E(d)) ^{2}+D(X)}

优点：效率高

与PCF相比，但效率更高（通过方差避免暴力采样

与CSM相比，VSM开销更小

问题：漏光、内存大

关于这个漏光问题，参考影子传说——三种Shadowmap改进算法的原理与在Unity中的实现，解决方案是重映射，然而映射越厉害，阴影就越硬，相反漏光减少。

由于VSM需要真用更多的内存——需要MRT额外储存d^{2}，需要两个float通道储存数据，移动端应该吃不消

补充：

1.4 ESM

Exponental Shadow Mapping，即用指数函数替换掉原表达式中简单的相减，实现方法如下（截图自参考）：

与CSM相比ESM表达式更加简洁，效率也更高，如下图（截图自参考），该作者验证了32位float下ESM的c取80效果最佳，且生成阴影比M=16的CSM生成的阴影更好：

pre-filtering

基础的ESM仅仅解决了软硬问题,，而边缘锯齿依然存在！因此肯定要额外进行滤波的，那么到底是pre-filtering还是filtering？该参考文章的作者又进行如下证明：

对于使用指数表达式的ESM来说，ESM处理后再对结果进行filtering和pre-filtering完全是等价的，而pre-filtering（MSAA、高斯模糊效果都不错）当然比filtering要好得多！

优点

支持pre-filtering，与VSM相比ESM只需要一个float通道，无需MRT。

问题

ESM的不足在于，虽然锯齿问题完全可以pre-filtering解决，但软阴影质量极大受到c值影响：c值小了会漏光，c值太大“软”得不明显。PC端完全可以直接PCF，而移动端32位float精度又不够，具体可以看看这篇文章有带图片分析。

1.5 EVSM*

Exponential Variance Shadow Mapping，EVSM是对VSM的一种改进，具体可以看影子传说——三种Shadowmap改进算法的原理与在Unity中的实现

1.6 动态阴影：PCSS 

Percentage-Closer Soft Shadow，即百分比接近软阴影。这个与上面几种方法解决的问题不一样，这个解决的是阴影的一致性问题，即实现动态阴影。

具体实现方法可以参考之前我的202作业记录：

GAMES202作业1-实现过程详细步骤，放上一张最后的效果：

2 实时阴影：光线追踪

2.1 ShadowMap的不足

我发现很多人在比较ShadowMap和光追阴影的时候总喜欢拿软阴影来说事，虽然传统的ShadowMap无法实现软阴影，但PCF、PCSS可以呀！感觉硬伤其实是在精度问题：无论用何种算法，只要是基于ShadowMap思想的一定逃不过需要图来储存深度信息（VSM甚至需要两张），而图，就一定会涉及到分辨率问题——低了看不清，高了性能上不去；还有抗锯齿问题。

随着场景越来越大，ShadowMap这种问题一定会越来越明显。

2.2 考虑遮挡

光线追踪算法的单一代码路径可以处理所有的阴影场景，只需在视线发出光线与场景中物体求交时，做一个距离上的对比，挡住则不计算光强，拿101光追框架看，光追代码中如何考虑遮挡：

实时光线追踪技术：业界发展近况与未来挑战文中的3.4就介绍了Ray Tracing Shadow。

关于rtShadow就先谈到这里，后面有机会会继续补充。

参考

 实时渲染中的软阴影技术 - 知乎 (zhihu.com)

 影子传说——三种Shadowmap改进算法的原理与在Unity中的实现 - 知乎 (zhihu.com)

【论文复现】Variance Shadow Maps - 知乎 (zhihu.com)

单边切比雪夫不等式的总结 - 知乎 (zhihu.com)

实时光线追踪技术：业界发展近况与未来挑战 - 知乎 (zhihu.com)

RayTracingShadow/ScreenSpaceDenoiser 实现概述 - 知乎 (zhihu.com)

九九345
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
光线追踪：一种颠覆性技术
07-06
对于任何名副其实地从事AR/VR/XR、产品设计或仿真工作的工程师而言，光线追踪是他们应该熟悉的一种技术。因为它是自三维（3D）图形诞生以来图形技术领域最重要的进步之一，而且它即将从高深的电影和广告领域转向移动、可穿戴和汽车等嵌入式领域，作为全新的、更有效的处理光线追踪的方法进入市场。   如果你去看任何的三维场景，会发现其逼真度很大程度上取决于光照。在传统的图形渲染（光栅化处理）中，光照贴图和阴影贴图是预先计算好的，然后应用到场景中以模拟场景外观。然而，虽然可以实现很美观的效果，但其始终受限于一个事实，即这些技术仅仅是在模拟光照。光线追踪技术则是模拟光照在真实世界中如何表现，以创建更精确、更程序化的反射、透明、发光和材质图像。   在现实生活中，光源发出的虚拟光束会照射到物体上。然后光线会与该物体相互作用，并根据物体的表面性质再反射到另一个表面上。之后，光线会不停地进行反射，从而产生光和影。
什么是光栅化
郭佳
04-02 4629
http://blog.csdn.net/refiner/article/details/1216048   光栅化是将一个图元转变为一个二维图像的过程。二维图像上每个点都包含了颜色、深度和纹理数据。将该点和相关信息叫做一个片元（fragment）。
【百人计划】图形 5.2 光线追踪、路径追踪、光线投射、光线步进
zhinan7ovo的博客
12-26 4134
笔记+作业 分析光线追踪、路径追踪、光线投射、光线步进在游戏中有哪些技术应用 一、光线追踪 光线追踪是相对于光栅化的概念，光栅化的过程是全局信息丢失的过程，从模型到顶点到离散化成像素。对于光线追踪，从相机出发，朝每个像素发射一条射线，和场景中的第一个物体相交，在交点处可以根据物体的材质、光源属性和光照模型计算交点的颜色。 应用场景： ①全局光照(GI) 光栅化难以解决光会弹射多次的问题，也就无法处理间接光。而全局光照是直接光照加间接光照的结果，要模拟真实世界的光照表现，就要实现全局..
技术美术知识学习5200：光追相关概念介绍
武功高强的盲僧的博客
12-25 2184
光线追踪、路径追踪、光线投射、光线步进的简介及光追的应用
简单聊光栅化、光线追踪及DLSS
蒙双眼看世界
12-15 3137
通俗地理解光栅化：三维场景里通常是由多个物体（模型）组成，模型都是由三角面组成，将三维空间中的模型通过几何变换，映射到二维的屏幕上，然后将这些转换过来的三角面形成的区域拆解成一个个像素点，从而让我们能看到三维的效果，这个过程就叫光栅化，实质上光栅化的过程要复杂很多。光栅化最大的问题就是需要提前预设大量的渲染效果，比如游戏场景中的光影、反射等效果都是要提前预置好，并且大部分都并不符合现实的物理规律，这也是为什么现在的游戏看起来很真实，但是还是有虚拟的感觉。为了解决这个问题，于是有了新的一门技术：光线追踪。
CSM中一些常见问题的解决方式
小龙虾的博客
08-06 1597
CSM中一些常见问题的解决方式 抖动 摄像机在每帧移动或者旋转时，会产生较严重的抖动问题。
通俗傻瓜式理清光栅化渲染和光线追踪渲染的原理
qq_37366618的博客
12-14 1万+
用通俗语言傻瓜式的讲清楚光栅渲染和光线追踪渲染的原理，方便没有相关理论基础的朋友理解入门。
初探802.11协议(0)——PCF/DCF与CSMA/CA机制
FanFF的博客
05-05 3428
IEEE802.11 CSMA/CA机制与DCF机制
图形学 Lecture7 光线追踪
weixin_46177831的博客
06-01 1018
关键：Whitted-Style Ray Tracing 光线追踪和光栅化是两个不同的成像方式。在于光栅化的问题：
shadow map 系列(pcf,csm,vsm,lvsm)
热门推荐
normallife的专栏
11-27 1万+
最近看了关于shadow map的论文，就最近总结一下： Shadow Map :用于生成阴影如果要了解shadow map，最好的办法就是去看dx的demo 。其算法大意如下：运用渲染到纹理方法(render to target)，以场景中的光源为坐标原点，建立光源坐标系，从而可以得到相对于光源的场景深度信息，将其保存在render target上(一般是R32F的surface
Computer-Graphics:使用光线追踪和光栅化的康奈尔盒子渲染
06-05
光线追踪 对象：三角形和球体 材料： 扩散（吸收） 镜面反射） 漫反射和镜面反射（吸收和反射） 玻璃（折射和反射） 直接照明+恒定间接照明 软阴影（NxN 光源）根据以下光源分布： 制服 被随机抽样抖动 抗锯齿...
AlpacaRenderer:光栅化软渲染器
05-17
一个简单的光栅化软渲染器 ＃基础信息 C ++ VS2015 没有第三方库的Windows GDI API D3D就像左手 NDC Z范围（0,1） 使用行向量，例如vMVP ＃特征 向量，矩阵，颜色 模型，视图，项目转换，视口映射 简单的CVV...
传感技术中的光纤光栅传感器的研究与应用
11-04
由于光纤光栅具有高灵敏度、低损耗、易制作、性能稳定可靠、易与系统及其它光纤器件连接等优点，因而在光通信、光纤传感等领域得到了广泛应用。为此。本文从光纤布拉格光栅、长周期光纤光栅等光纤光栅的原理出发，...
第2章-图形渲染管线-2.4-光栅化1
08-03
个三角形片元的属性是使用在三个三角形顶点之间插入的数据生成的（第5章）。这些属性包括片段的深度，以及来自几何阶段的任何着色数据。McCormack等人在文献[1
13 Games101 - 笔记 - 光线追踪（Whitted-Style光线追踪原理详解及实现细节)
zgynbnbnb的博客
03-28 2091
光栅化的缺点：不能很好的处理全局光照。（因为Blinn-Phong这种局部模型无法处理全局效果！
计算机图形学【GAMES-101】7、光线追踪原理(线面求交、预处理空间划分)
记录值得记录的东西
12-20 3270
为什么要使用光线追踪？ 3 光线追踪的做法4 递归光线追踪(Whitted-Style Ray Tracing) 1 为什么要使用光线追踪？ 光栅化局限性 处理不好全局效果 基本只考虑光线弹射一次，即从光源打到物体表面弹射到相机 是一种近似的效果，不准确、不真实 光线追踪的优势 更方便地处理间接光照(光线到达相机之前弹射多次) 更好实现软阴影、毛玻璃效果 准确、真实、符合物理规律、质量非常高 光线追踪唯一的缺点：特别慢 2 光线(Light R...
【TA-霜狼_may-《百人计划》】图形5.2 光线追踪、路径追踪、光线投射、光线步进介绍
卓仔的博客
08-13 267
图形5.2 光线追踪、路径追踪、光线投射、光线步进介绍
13.光线追踪
Mr_Dongzheng的博客
12-10 977
（1）沿直线传播（2）光线与光线间不会碰撞（3）光线肯定从光源发出，进入场景不断弹射，最后进入人眼//光线追踪用了光线的一个性质-reversal - reciprocity 光线的可逆性：可以理解为，光从光源发出不断弹射，最后进入人眼，也可以eyes可以发出一些感知的光线，打到物体上，最后打到光源（逆过程）。o是光源的位置，d是光线射出的方向，t可以认为是时间。
实时渲染 -- 光追（Ray Tracing)
gghhb12的博客
01-24 1185
现实光照=直接光照+反弹1次的间接光照+反弹2次的光照+...现实光照=直接光照+反弹1次的间接光照+反弹2次的光照+...光线追踪（Ray Tracing）通过递归的方式实现了间接光的效果（递归多少次意味着反射了多少次），因此在使用光线追踪算法的时候其实就相当于间接实现了全局光照（Global Illumination）的效果，这也是光线追踪的一个明显优点。Whitted-Style Ray Tracing：基于光照是光线直射的理念。
计算机图形学三角形的光栅化c语言算法
最新发布
04-14
计算机图形学中，光栅化是将几何图形转换为像素的过程，其中三角形的光栅化是最常见的操作之一。下面是一个简单的C语言算法来实现三角形的光栅化： 1. 首先，我们需要定义一个表示像素的数据结构，可以使用一个二维数组来表示屏幕或画布。 ```c typedef struct { int r, g, b; // 像素的红、绿、蓝分量 } Pixel; // 定义屏幕大小 #define SCREEN_WIDTH 800 #define SCREEN_HEIGHT 600 // 定义屏幕像素数组 Pixel screen[SCREEN_HEIGHT][SCREEN_WIDTH]; ``` 2. 接下来，我们需要定义一个函数来绘制一个三角形。这个函数接受三个顶点的坐标作为参数，并使用扫描线算法来填充三角形内部的像素。 ```c void drawTriangle(int x1, int y1, int x2, int y2, int x3, int y3) { // 扫描线算法 // ... } ``` 3. 在`drawTriangle`函数中，我们需要实现扫描线算法来填充三角形内部的像素。具体步骤如下： a. 首先，找到三角形的最小和最大y坐标，确定需要遍历的扫描线范围。 b. 对于每一条扫描线，计算与三角形的交点。 c. 根据交点的x坐标，确定需要填充的像素范围。 d. 在像素范围内，根据插值计算每个像素的颜色，并将其设置为对应的屏幕像素。 ```c void drawTriangle(int x1, int y1, int x2, int y2, int x3, int y3) { // 找到最小和最大y坐标 int minY = min(y1, min(y2, y3)); int maxY = max(y1, max(y2, y3)); // 遍历每一条扫描线 for (int y = minY; y <= maxY; y++) { // 计算与三角形的交点 // ... // 确定需要填充的像素范围 int startX = min(x1, min(x2, x3)); int endX = max(x1, max(x2, x3)); // 在像素范围内填充颜色 for (int x = startX; x <= endX; x++) { // 根据插值计算每个像素的颜色 // ... // 设置屏幕像素颜色 screen[y][x].r = red; screen[y][x].g = green; screen[y][x].b = blue; } } } ``` 这是一个简单的三角形光栅化算法的C语言实现。你可以根据需要进行修改和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九九345

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值