GAME101-Lecture06学习

前言

上节课主要讲的是三角形的光栅化。重要的思想是要利用像素的中心对三角形可见性的函数进行采样。

这节课主要就是反走样。

课程链接：Lecture 06 Rasterization 2 (Antialiasing and Z-Buffering)_哔哩哔哩_bilibili

反走样引入

​

通过采样，得到的这个三角形和实际的三角形有很大的区别。这种效果叫做锯齿，学名叫走样（aliasing）

采样产生的问题

artifacts:表示图形学中一切看上去不太对的东西。

采样会产生一系列问题，其本质都是信号（或者说采样的函数）变得太快了，以至于采样的速度跟不上它变化的速度。

• 锯齿（aliasing）

• 摩尔纹：将图像的奇数行和奇数列就可以产生

• 车轮效应：生活中高速行驶的汽车，在视频中看上去的效果可能是倒着转的。人眼在时间中的采样出了问题。

防走样的做法

​

在采样之前做一个模糊（滤波），可以进行反走样。（而先走样在模糊的话，无法达到效果。）

如图在三角形采样前，做一遍模糊，然后再对这些像素点进行采样。

傅里叶

傅里叶级数展开

​

任何一个周期函数都可以写成一系列正弦和余弦函数他们的线性组合以及他们的常数项，这就叫做傅里叶级数展开。

傅里叶变换

傅里叶变换和傅里叶级数展开并不是一个东西。

​

给定任意一个函数f(x)，经过一系列操作变成另外一个函数F(x)，这个变换过程叫做傅里叶变换。

F(x)通过逆变换也可以变回f(x)，叫做逆傅里叶变换。

走样探究

频率

​

定义f为频率。

用f即可定义波变化有多快，从而也能定义周期T。

傅里叶变换的应用

傅里叶变换可以把一个函数（图形学中将一幅图像看作一个二维函数），从时域（空间和时间都称为时域）变为频域。

​

我们对左边的图进行一次傅里叶变换，从时域变为频域，就会得到右边的图。

将右边图的中心定义为低频的区域，那么从中心到四周频率会越来越高。不同频率表示的信息多少，我们通过亮度来表示。

右图中，图像的中心是最亮的，而前面我们定义了中心是低频，这就意味着左边的图像中，信息都集中在低频区域。

右图中有一个十字的线。这是做傅里叶变换时会出现的现象。因为在分析一个信号时，会认为它是周期性重复的信号，但是大多数图都是不周期性重复的信号。

• 可以将左图当作是一个周期，那么这个图的周期性重复就是类似桌面平铺的样子。左图在左右上下边界后就没有画像了，分析的时候看作将这张图左右上下叠了无数个，这就是无数个周期。

• 此时有了一个问题，大多数图的左右边界是不一样的（即图左右的边缘不一样）。当我们让这幅图和左边重复的图衔接时，衔接处的像素会产生一个剧烈的变化（可以想象成右边界是黑的，但是用来衔接的旁边的左边界是白的，黑到白直接是一个突变），就会产生一个极高的高频。

傅里叶变换能够让我们看到，左边的图像在不同频率长什么样子（即信号在不同频率长什么样，叫做频谱）。

频率中的采样

傅里叶变换就是把函数变成不同的频率的段，然后把不同频率的段显示出来。

​

• 更高的频率需要更快的采样

• 低频信号:充分采样以进行合理的重构

• 高频信号采样不足:重建错误地似乎是从一个低频信号

如图，绿色曲线表示频率，黑色点表示采样点，蓝色虚线是通过采样点还原的频率。

，如果我们用同样的采样方法来对不同的波进行采样，采样的效果是不一样的。因此，我们需要让函数变化的频率和采样的频率匹配，才能让所有的采样都达到一个想要的效果。

频率中的走样

​

• 高频信号采样不足：采样错误地表现为来自低频信号

• 在给定的采样率下难以区分的两个频率称为“aliases”（走样）

如图，首先让蓝色的函数根据图中白色点的方式进行采样。根据采样的点还原，可以得到黑色的这个函数。

接着假设黑色线是待采样的函数，如果也用白色点的方式进行采样。还原后得到的依旧是这个黑色的这个函数。

同样的一个采样方法，采用两种不同的频率的函数得到的结果，我们无法区分它们，这就叫做走样

滤波

滤波（filtering）：把某个特定频段（就是一个规定的范围内的频率）给删除，这个对应的信号是如何变化的，叫做滤波（即去掉一系列频率）

高通滤波

将低频信号全部抹去，只剩下高频的信号的滤波叫高通滤波。

​

在傅里叶变换的基础上，将低频信号全部抹去，只剩下高频的信号，就是右图。将剩余的高频信号逆处理回去，就是左图。

可以发现，高频的东西其实就是表示图像内容的边界（比如图中的袖口等）。

边界可以理解成是突变比较大的“分水岭”，这个边界左右（或上下）发生了非常剧烈的变化，而图像信息变化快的地方频率就高。

进一步可以认为，高频的地方图片信息变化非常大。

低通滤波

将所有高频信息抹掉，只剩下低频信息的滤波叫低通滤波。

​

在傅里叶变换的基础上，将所有高频信息抹掉，只剩下低频信息，可以发现所有的“边界”都去掉了，整个图像是一个模糊的样子。

特定频段滤波

​

将高频和低频的信息都去掉，留下某一段特定频率的信息，此时提取到的是一些不那么明显的“边界”特征。

​

同样，如果左侧留下的光圈更加外边（更接近高频），那么这个“边界”特征会越明显。

卷积、平均

平均（averag）操作：可以想象成低通滤波，造成模糊的效果。

卷积操作

​

​

假设滤波器（filter）是一个窗口，窗口中有若干个各自。将信号与滤波窗口进行点乘操作（第三行的式子），点乘的结果写回窗口的中心值。

其实就是将某个原始的信号取其周围的信号进行加权求和，得到一个新的信号。任意一个数都是周围若干数的平均。

将某一种滤波作用在一个信号上，进行卷积操作（点乘加权平均），得到一个新的信号。（这是图形学简化后的定义，不是数学上的定义）

（这就是卷积能够提取特征的原因）

卷积定理

​

对一个图像进行卷积操作，得到新的图像。对应的就是将原本图像对应的信号，乘以一个信号，就会得到一个新的信号，被乘数的那个信号就是卷积，新的信号就是新的图像。

时域的卷积 = 频域的乘积，反之亦然

卷积盒

​

卷积盒可以看作是一个滤波器，卷积操作就是一个低通滤波器，让图像更加模糊。

写成图中数字加盒子的形式，相当于是一个归一化的操作。

​

卷积盒的范围变大，对应的频率是变小的，结果更加模糊。

原因个人是这么理解的：

• 假设在这个box变得超级大，大到以任意一个像素为中心，都能覆盖得了所有得像素。

• 看前面的卷积操作的计算方式，其实就是以每一个像素为中心，box覆盖到的像素一起取平均。每个像素取平均的值，在box超级大时，就可以认为是同一批数据。

• 那么卷积操作后，无限大的box导致每个像素长得一摸一样。这就是模糊到了一个程度，整张图看不出任何信息。相当于边界全部没有了。卷积盒box越大，边界越少，图像信息越来越少，图像越来越模糊。

• 在频域中，如上图box变大后，频域图中间的亮点们变小变淡了。前面我们将亮度高的当作高频，这里就相当于高频越来越少。卷积盒box越大，高频信息越来越少。

频域中的采样

​

左图是在时域中的三个函数。我们用函数c（冲激函数）乘以函数a，就可以得到函数a上离散的点（函数e）。函数e就是采样结果。

右图是各个函数对应在频域上的函数。时域上函数相乘变成一系列的点，对于到频域上，就是把原始的函数的频谱复制粘贴。（时域的乘积等于频域上的卷积。）

在频域中，采样就是在重复频率或者频率上的内容。

频域中的走样

​

采样在频域中就是将频谱复制粘贴。

正常情况下，依次的复制粘贴如图中第一个函数的样子。但是如果采样的过快，一段没有复制粘贴完，另一段就又要复制粘贴上来，就会导致频谱之间的间隔越小，信号混在了一起，就是走样。

这里时域和频率的解释是相反的关系，采样的越稀疏（采样的频率越小），对应频谱上就越密集（时域上的信号就会叠在一起），这种情况下就是走样。

防止走样的措施

​

• 如何减少混叠误差（走样）?

• 方案1:提高采样率本质上增加了傅立叶域中样本之间的距离

• 比如：更高分辨率的显示器、传感器、帧缓冲器..

• 但是:成本高&可能需要非常高的分辨率

• 选项2:抗锯齿（防走样）

• 在重复之前使傅里叶的内容“变窄”

• 比如：在采样前滤除高频

反走样探究

原理

​

先做一个模糊，去掉高频，让频谱覆盖的面小一些，这样就能防止频谱重叠。

模糊方法

严格意义上来说，MSAA这些抗锯齿技术都是对反走样的近似，不能完全解决放走样。

MSAA

​

• 通过对一个像素内的多个位置进行采样并取其值的平均值，来近似模拟1像素箱形滤波器的效果。

例子展示

​

假设有一个三角形覆盖了一些像素。

1. ​

   在每个像素中取NxN样本。

   假如像素内部多一些采样点，比如用2*2的点

2. ​

   在像素内部取采样点后，查看采样点在三角形内外的情况。

   为方便显示，我们可以让像素内部的采样点在三角形内的越多，颜色越深。

3. ​

   最终的结果，我们将得到每个实际像素在三角形中的覆盖率。

MSAA是对反走样的第一步模糊进行操作，而下一步的采样操作是隐含在这个过程中的。

注意

MSAA不是通过提高分辨率直接解决走样问题。（增加采样点是近似合理的覆盖率，并没有真的提高分辨率）

在实际运用时，对像素处理的方法并不是像例子取像素中心然后规则的矩形的增加采样点。实际中人们会用其他更加有效的图案，并且有些点会被临近的像素复用。

FXAA

FXAA (Fast Approximate AA)快速近似抗锯齿

图像的后期处理，先得出一张图。通过图像匹配的方式找到图中的锯齿，然后把他换成模糊。（但是注意前面有说过，不能先得到一张有锯齿的图再做模糊）

这个技术中没有涉及到采样，是在图像层面上做的抗锯齿。

TAA

TAA (Temporal AA)

假如场景是静止的，相邻两帧显示的一样，但是相邻两帧一个像素内部不同位置上的点来感知是否在三角形内。

在时间范围内得到的静态的场景图的边界会各不相同。TAA复用上一帧的感知结果，相当于将MSAA的样本分布在时间上。

如果是动态的，就是光线追踪（TAA和光线追踪用的是同一个思想）

超分辨率

一张图将其大小变大（比如512*512变成1024*1024），单纯的拉大会看上去图全都是锯齿。如果不想看到锯齿，就需要一个超分辨率的过程。

本质上是高分辨率的图采样率不够。

DLSS

通过深度学习的方法实现超分辨率的过程（就是猜）

总结

前提：图形学中将一幅图像看成一个二维函数。

频率、频谱

频率用来表示波变化的快慢。

一个函数（图像）经过傅里叶变换后，能够得到其频谱。

• 函数f通过变换能够变成另一个函数F，f通过逆变换也能够变回F。变换过程就叫做傅里叶变换或逆傅里叶变换。

• 频谱是图像（信号）在不同频率的样子，是频率的分布曲线。

• 在频谱中，每间隔一段就取一个数据点，这个取点的过程叫做采样。

• 同样的一个采样方法，采用两种不同的频率的函数得到的结果，我们无法区分它们，这叫做走样

滤波

将某一范围内的特定频率去掉的过程称为滤波。

个人理解滤波其实就是一个函数，将图像（信号、函数）与这个滤波函数叠加，就能实现实现滤波的效果。

高通滤波就是能够去掉低频频段的函数（信号）。图像增加高频滤波后，图像边界将变得明显。

同理，低通滤波就是去掉高频频段的函数（信号）。

除此之外还有一些特定频段的滤波。图像增加低频滤波后，图像将变得模糊。

卷积

卷积在图形学中就是加权求平均。

卷积操作就是一个低通滤波器。

• 将某一种滤波作用在一个信号上，进行卷积操作（点乘加权平均），得到一个新的信号。

• 这是图形学简化后的定义，不是数学上的定义

卷积定理主要是证明了时域的卷积 = 频域的乘积，反之亦然。

• 从例子上看，就是一个图像进行卷积操作后得到新的图像，在频域中就是一个频谱乘以卷积操作的频域得到一个新的频谱。

卷积盒可以看作是一个滤波器。

• 卷积盒box越大，边界越少，图像信息越来越少，图像越来越模糊。

频域中的定义

采样在频域中就是将频谱复制粘贴。

• 时域上函数相乘变成一系列的点。

• 对应到频域上，就是把原始的函数的频谱复制粘贴。

复制粘贴的频谱之间的间隔越小，频谱重叠在了一起（信号混在了一起）就是走样。

采样的越稀疏，采样的频率越小，对应频谱上就越密集（时域上的信号就会叠在一起）。

反走样

在采样之前做一个模糊（滤波）可以达到反走样的效果。

• 需要模糊的话需要做低通滤波。去掉高频，在频域的体现就是频谱覆盖的面会小，防止频谱重叠。

MSAA、FXAA和TAA都是做模糊一些技术。

• MSAA是增加像素的采样点，近似合理的覆盖率，从而达到模糊的效果。

• FXAA则是先采样，形成图像后，再利用图像匹配找到锯齿的部分，模糊处理后替换锯齿部分（但是会违背采样之前做一个模糊的理论，这样达不到很好的效果，优点是很快）

• TAA则是会复用上一帧的感知结果，相当于将MSAA的样本分布在时间上。

后记

这节课的知识真的多且难，分了两天看才看完。。。

感觉开始慢慢接触专业的知识了，闫老师的课确实很厉害，讲的真的很好。