GAMES101-6小笔记

老师讲得真好

Lecture 06

采样所产生的问题（瑕疵）

1. Jaggies(Staircaes Pattern) 锯齿
2. Moire Patterns 摩尔纹
   
   （省去奇数行和列）。
3. Wagon Wheel Illusion(False Motion) 错觉
   
   采样跟不上运动的速度。
   

反走样(Antialiasing)

补充一个知识点：香农采样定理（奈奎斯特采样定理）。
为了不失真地恢复模拟信号，采样频率应该大于等于模拟信号频谱中最高频率的2倍。 　即 f_s≥2*f_max
满足这个条件就不会出现走样。

模糊(Blur)

采样前先进行模糊操作。

p.s.必须先模糊再采样（这是一种反走样方法Antialiasing），而不能先采样再模糊(Blurred Aliasing)。
But why? 为什么先进行模糊就可以呢？

补充一些知识点：
频域(Frequency Domain)：分析信号包含的频率成分。各频率分量的频率和功率参数。
傅里叶变换(Fourier Transform)：可以将满足一定条件的某个函数表示成三角函数（正弦和/或余弦函数）或者它们的积分的线性组合。或者说可以用一系列三角函数的和/积分等组合来描述一个函数，这一系列的三角函数通常是不同频率的（从低频到高频）。

从下图可以看出，频率越高的函数，需要的采样频率越高。

而如下所示，蓝色函数采样的结果是黑色线条连成的图像；如果把黑色线条看作是一个函数，则在同一个采样方式下，它的结果和蓝色函数一模一样的。
也就是说，同样的采样方法，采样两种频率不同的函数，得出来的结果无法区分，这就是走样。
在知道频域和傅里叶变换之后，就可以分析一些函数到底拥有什么样的频率。

滤波(Filtering)

去掉一系列特定的频率。

对图片进行傅里叶变换可以得到频谱图，中心是低频区域，边缘处是高频区域，亮度表示信息的多少。自然的图片基本上信息都集中在低频区域。
p.s. 为什么有垂直水平两条高亮的线，是因为做频频分析时，在到图片边缘时会循环回去，可以看作是无数张图片平铺在一起。而图片的左边缘和右边缘（或者说左下角到右上角）通常都是不一样的，也就是说会产生剧烈的信号变化，所以会产生一个极其高的高频，就出现了这两条线。

高通滤波：去掉了很多低频信号。

可以看出高频通常就在边界，因为边界两边的变化通常很剧烈。

低通滤波：去掉高频信号→去除边界→（模糊）

特定频率滤波
另一个角度：
滤波=平均=卷积

卷积(Convolution)

原始信号的加权平均。下面的定义比较官方：时域上的卷积等同于频域上乘积。

具体操作: 滤波器也可称卷积核

从左往右滑动过去。

Box Filter=低通滤波器

可以想象：用越大的滤波器去模糊，会是结果更模糊，也就是频率越低。

频率的角度看采样：

采样：

走样：

即不满足香农采样定理（奈奎斯特采样定理），就出现了混叠现象。
如何减少走样：


注意红字：采样前先滤掉高频信号。

实际的操作：
利用一个像素宽的box filter进行卷积


如何实际算出在一个像素内占用的面积呢？这并不容易，计算量也大。

MSAA

采用一个近似的方法：MSAA(Multisample anti aliasing)。用更多的点来进行反走样，超采样(Supersampling)。

将一个像素点再分成2x2，分别判断点在不在三角形内。
当然也可以分成4x4，8x8等等，越多越精确。

然后计算面积占比，如此便完成了反走样的第一步：模糊。

然后再采样。所以MSAA不是靠提升分辨率直接解决走样问题，也不是提高了采样率，而且通过多点近似三角形的覆盖面积。

当然MSAA也是需要额外的计算开销的，所以玩游戏时候开了会发现帧率下降了哈哈。

其他的一些抗锯齿方法

FXAA不是通过多样本，而且后期对图像进行一些操作去掉锯齿。步骤：得到有锯齿的图像→通过算法找到边界→把带有锯齿的边界换成没锯齿的边界。速度很快。
要注意：这和 【先采样再模糊不能反走样】 不冲突。
TAA使用了相邻帧的信息，一般是复用上一帧的像素值，相当于MSAA在空间上对应的样本给分布在时间上，并且在当前帧不需要引入任何额外操作。很聪明，效率也很高。

补充：

超分辨率概念和超采样不一样，但是本质类似。超分辨率就是将图片分辨率拉大，还要保证没有锯齿。