渲染管线理解4

齐次裁剪

通过透视投影得到的点$[x_{齐次},y_{齐次},z_{齐次},w]$形成的三角形片元，裁剪是在齐次}坐标中做裁剪的,即它是一个四维空间的裁剪。而不是经过透视除法后的立方体空间$[x_{齐次}/w,y_{齐次}/w,z_{齐次}/w,1]$。
假设view空间中点$P_0(x,y,z)$投影后齐次坐标$P_1(x^{\prime },y^{\prime },z^{\prime },w)$
view空间到齐次坐标转换关系为
$$P_1=M_{perspective}{P}_0$$
仿射变换不改变原来坐标系下顶点的属性（纹理，颜色）关系，所以可以直接线性插值。z’和z，y’和y，x’和x是线性关系。
$P_2(x^{\prime \prime },y^{\prime \prime },z^{\prime \prime },1)=(x^{\prime }/w,y^{\prime }/w,z^{\prime }/w,1)$,x’‘与x不是线性的关系，x’'与x,z有关系，经过透视除法后，不能使用线性插值，否则进行插值的纹理坐标或者颜色会不准确。

$$\{\begin{array}{c}-1\le x_{齐次}/w\le 1\\ -1\le y_{齐次}/w\le 1\\ -1\le z_{齐次}/w\le 1\end{array}\to \{\begin{array}{c}-w\le x_{齐次}\le w\\ -w\le y_{齐次}\le w\\ -w\le z_{齐次}\le w\end{array}$$
六个平面分别为
$$\begin{array}{c}w=x_{齐次}\\ w=-x_{齐次}\\ w=y_{齐次}\\ w=-y_{齐次}\\ w=z_{齐次}\\ w=-z_{齐次}\end{array}$$
假设相机空间的二个点$a(x_0,y_0,z_0,u_0,v_0,c_0)$,$b(x_1,y_1,z_1,u_1,v_1,colo{r}_1)$,透视变换后齐次坐标的点$a^{\prime }(x_0^{\prime },y_0^{\prime },z^{\prime }0,w_0^{\prime },u_0,v_0,c_0)$,$b^{\prime }(x_1^{\prime },y_1^{\prime },z_1^{\prime },w_1^{\prime },u_1,v_1,colo{r}_1)$
假设与-1左平面即$w=-x_{齐次}$，交点为$c^{\prime }=a^{\prime }+t(b^{\prime }-a^{\prime })$,w,x分量为$(w_0^{\prime }+t(w_1^{\prime }-w_0^{\prime }),x_0^{\prime }+t(x_1^{\prime }-x_0^{\prime }))$带入平面解得t,然后线性插值uvc。

固定yz。w=x和w=-x把平面分成二个区域。w<0说明在相机的背一侧。

光栅化

把透视除后的规格化设备坐标系按照窗口的长宽通过平移缩放变换到屏幕坐标系。
从一个投影场景生成网格颜色样本。1600宽，1200高的显示器有1 920 000个像素点。通常每个像素点会计算几次(深度比较)，费时间。

FrameBuffer

Framebuffer是一个2D的图像，每个像素点都有颜色值。 用于显示在屏幕的图像数据。

光栅化一个三角形流程

1. 确定被三角形覆盖的可见像素
2. 计算三角形内的每个像素的颜色
3. 确定像素的最终颜色并上传到framebuffer
   
   
   黑色的代表完整的片元，灰色的代表不完整的片元。
   如何把三角形变成片元？
   可以采用扫描线，根据三角形凸的性质，水平扫描线从一段进入，另一端出去，在边缘和上下顶点处是部分片元。y最大值，最小值是三个顶点的最大值和最小值。

深度缓存

深度缓存用来确定可见的三角片，如果当前片元比原来的近，替换，否则不替换。但是当二个深度是一样时，会有显示问题。
缺点:

1. 每个像素点有一个深度数组
2. 在每一帧需要初始化为背景颜色,深度缓存为背景深度

以上二个硬件实现， 现在不是问题。对每一个片元的额外操作,计算深度值，查找深度缓存表，比较，写入如果符合。

$z_{ndc}$可以用来做深度值
假设视图空间一个三角形三角平面法向量$\hat{n}=(a,b,c,)$,平面可以表示成$ax+by+cz+d=0$，d是一个固定常量。
平面上一点$(x_{view},y_{view},z_{view})$
该点在平面上，即：
$a{x}_{view}+b{y}_{view}+c{z}_{view}+d=0$
$\hat{n}\cdot (x_{view},y_{view},z_{view})+d=0$
在NDC坐标中点$(x_{ndc},y_{ndc})$对应的视图空间坐标为一条射线
$(x_{view},y_{view},z_{view})=t\mathbf{r}=(x_{ndc},y_{ndc},-dist)tt\ge 0$
dist表示到观察点到投影平面的距离。虽然能够对投影矩阵求逆，但是不能通过ndc坐标(即经过透视除法后的点)求的view的坐标。
视图空间的一个点投影在这个屏幕点上必定在这条射线上。
$\hat{\mathbf{n}}\cdot (t\mathbf{r})+d=0\to t=\frac{-d}{\hat{\mathbf{n}}\mathbf{r}}$
$(x_{view},y_{view},z_{view})=t\mathbf{r}=t(x_{ndc},y_{ndc},-dist)=\frac{-d}{\hat{\mathbf{n}}\cdot \mathbf{r}}(x_{ndc},y_{ndc},-dist)=\frac{-d(x_{ndc},y_{ndc},-dist)}{\hat{\mathbf{n}}\cdot (x_{ndc},y_{ndc},-dist)}=\frac{-d(x_{ndc},y_{ndc},-dist)}{a\ast x_{ndc}+b\ast y_{ndc}-c\ast dist}\to z_{view}=\frac{d\ast dist}{a\ast x_{ndc}+b\ast y_{ndc}-c\ast dist}$
$$\{\begin{array}{c}{z}_{view}\ge DepthBuffer\text{更新片元}\\ z_{view}<DepthBuffer\text{不更新片元}\end{array}\to \{\begin{array}{c}\frac{1}{z_{view}}\le DepthBuffer\text{更新片元}\\ \frac{1}{z_{view}}>DepthBuffer\text{不更新片元}\end{array}$$
但是直接求$z_{view}$有些复杂，我们使它的倒数，
$\frac{1}{z_{view}}=\frac{a\ast x_{ndc}+b\ast y_{ndc}-c\ast dist}{d\ast dist}=(\frac{a}{d\ast dist})x_{ndc}+(\frac{a}{d\ast dist})y_{ndc}-\frac{c}{d}$
括号中为常数。
$x_{ndx},y_{ndc}$到屏幕坐标$x_s,y_s$的变换是一个仿射变换
即：
$\frac{1}{z_{view}}=InvZ(x_s,y_s)=f{x}_s+g{y}_s+h$
根据forward difference
$InvZ(x_s+1,y_s)-InvZ(x_s,y_s)=f(x_s+1)+g{y}_s+h-(f{x}_s+g{y}_s+h)=f$
$InvZ(x_s,y_s+1)-InvZ(x_s,y_s)=f{x}_s+g(y_s+1)+h-(f{x}_s+g{y}_s+h)=g$
得到：
$InvZ(x_s+1,y_s)=InvZ(x_s,y_s)+f$
$InvZ(x_s,y_s+1)=InvZ(x_s,y_s)+g$
通过这个公式，可以进行快速的$InvZ$插值。
举个例子

常数$f=12.5,g=37.5$
点$(4,0,100)$正下方即金字塔第一条横线中间即以下4分别$(4,1,137.5),(4,2,175),(4,3,212.5),(4,4,250)$
$z_{ndc}$是$\frac{1}{z_{view}}$的一个仿射变换(右手系，看向-z轴，归一化到[-1,1],$z_{ndc}=-\frac{n+f}{n-f}-\frac{2nf}{(n-f)z_{view}}$)
即
$z_{ndc}=a+b\frac{1}{z_{view}}$
假设n(10),f(1000)映射到0,1
$$z_{ndc}=-\frac{1000}{99}\ast \frac{1}{z_{view}}+\frac{100}{99}$$

$z_{view}$	$z_{ndc}$
10	0.0
20	0.5
100	0.91
200	0.95
500	0.98
1000	1.0

可以看到$z_{view}$20的时候用掉了50%的精度，100的时候还剩下10%的精度。即前面的距离相机进的地方精度高，远的地方精度低，而远的地方可以会导致前后的物体映射到同一个z_{ndc}上，导致z-fighting。
16位的浮点数表示65535个数。

纹理映射

以下纹理映射的一个例子，沿着视线的方向。
线框图

纹理

期望的纹理映射

采用仿射变换的纹理映射

通常颜色的插值可以直接用线性插值，因为人对颜色变化不敏感。即认为用$x_{screen},y_{screen}$($x_{screen},y_{screen}与x_{ndc},y_{ndc}是线性关系$)去插值片元的颜色。
我们需要用View空间的位置去插值，而不是用ndc空间的值去插值。
$x_{ndc},y_{ndc}$与$u{z}_{ndc},v{z}_{ndc}$成线性关系


假设投影在xz平面上，yz平面的退到也类似。
假设View空间的二个点$A(X_{view1},Z_{view1})B(X_{view2},Z_{view2})$，直线方程为$aX+bZ=c$
投影平面的点$p_1,p_2$在ndc上的点为$(x_{ndc1},-d),(x_{ndc2},-d)$
根据三角形相似得到：
$\frac{X_{view1}}{Z_{view}}=\frac{x_{ndc1}}{-d}\to X_{view1}=\frac{x_{ndc1}}{-d}{Z}_{view1}$
把该点$(\frac{x_{ndc1}}{-d}{Z}_{view1},Z_{view1})$带入直线方程$aX+bZ=c$得到：
$$a\frac{x_{ndc1}}{-d}{Z}_{view1}+b{Z}_{view1}=c\to \frac{1}{Z_{view1}}=-\frac{a}{dc}{x}_{ndc1}+\frac{b}{c}$$
同理另外一点为:
$$\frac{1}{Z_{view2}}=-\frac{a}{dc}{x}_{ndc2}+\frac{b}{c}$$
假设$p_s=p_1+s(p_2-p_1),0<s<1$即$p_s((1-s)x_{ndc1}+s{x}_{ndc2},-d)$
$$\frac{1}{Z_s}=-\frac{a}{dc}{x}_s+\frac{b}{c}=-\frac{a}{dc}((1-s)x_{ndc1}+s{x}_{ndc2})+\frac{b}{c}=(1-s)(-\frac{a}{dc}{x}_{ndc1}+\frac{b}{c})+s(-\frac{a}{dc}{x}_{ndc2}+\frac{b}{c})=(1-s)\frac{1}{Z_{view1}}+s\frac{1}{Z_{view2}}$$
可以知道：
$x_{ndc}$与$\frac{1}{Z_{view}}$是线性关系，即$x_{ndc}=A_0\frac{1}{Z_{view}}+B_0,Z_{view}=A_1{x}_{ndc}+B_1$
在View空间中三角形纹理坐标(u,v)与空间中的点(X,Y,Z)呈线性关系，即
$$\{\begin{array}{c}{X}_{view}=A_{2}u+B_2\\ Y_{view}=A_{3}u+B_3\end{array}$$
带入：
$X_{view}=\frac{x_{ndc}}{-d}{Z}_{view}$
得到：
$$\begin{gathered} A_{2}u+B_2=\frac{x_{ndc}}{-d}{Z}_{view}\to \\ \frac{A_{2}u}{Z_{view}}+\frac{B_2}{Z_{view}}=-\frac{1}{d}{x}_{ndc}\stackrel{\frac{1}{Z_{view}}=A_0{x}_{ndc}+B_0}{\to } \\ \frac{A_{2}u}{Z_{view}}+B_2(A_0{x}_{ndc}+B_0)=-\frac{1}{d}{x}_{ndc}\to \frac{u}{Z_{view}}=A{x}_{ndc}+B \end{gathered}$$
同理有
$$\begin{gathered} \frac{u}{Z_{view}}=A{y}_{ndc}+B \\ \frac{v}{Z_{view}}=A{x}_{ndc}+B \\ \frac{v}{Z_{view}}=A{y}_{ndc}+B \end{gathered}$$

纹理映射总结

$$\begin{gathered} x_{ndc}\sim \frac{1}{Z_{view}} \\ {X}_{view}\sim u \\ {X}_{view}=\frac{x_{ndc}}{-d}{Z}_{view}\to \frac{u}{Z_{view}}\sim x_{ndc} \end{gathered}$$
因为$x_{ndc}$到屏幕是一个仿射变换，
$x_{ndc}\sim x_{screen}\to \frac{u}{Z_{view}}\sim x_{screen}$
对于屏幕上二个点$(x_{screen1},y_{screen1},z_{ndc1},u_1,v_1),(x_{screen2},y_{screen2},z_{ndc2},u_2,v_2)$，插值点，先通过$z_{ndc1},z_{ndc2}插值得到z_{ndc}^{\prime }即\frac{1}{Z_{view}^{\prime }},根据u_1{z}_{ndc1},u_2{z}_{ndc2}插值得到u^{\prime }{z}_{ndc}^{\prime },最后计算u^{\prime }=\frac{u^{\prime }{z}_{ndc}^{\prime }}{z_{ndc}^{\prime }}$

纹理滤波

通过纹理坐标取得纹理图像的值。
纹理放大，显示像素比纹理像素尺寸大。
纹理缩小，显示像素比纹理像素尺寸小。

纹理放大

通过上面计算的纹理坐标u,v([0,1])乘上纹理尺寸后uv会有小数，采样可以采用如下二种方法：

1. 最近邻插值
   $(u_{int},v_{int})=(floor(u_{texel}+0.5),floor(v_{texel}+0.5))$
   
2. 双线性滤波
   左下角纹理坐标$(u_{int},v_{int})=(floor(u_{texel}),floor(v_{texel}))$
   $(u_{frac},v_{frac})=(u_{texel}-u_{int},v_{texel}-v_{int})$
   
   

纹理缩小

3. Mipmapping

原始图像Image0尺寸
$w_{texture0}=h_{texture0}=2^L$
下一层
$w_{texture1}=h_{texture1}=2^{L-1}$
采样
$imag{e}_1(i,j)=\frac{I_0(2i,2j)+I_0(2i+1,2j)+I_0(2i,2j+1)+I_0(2i+1,2j+1)}{4}$
如何选择合适的一层？
$\frac{\partial u_{texel}}{\partial x_{screen}}$水平方向上每像素 纹素的变换
$\frac{\partial u_{texel}}{\partial y_{screen}}$垂直方向上每像素 纹素的变换
如果像素和纹素一一对应,一个近似的方法
$(\frac{\partial u_{texel}}{\partial x_{screen}}{)}^2+(\frac{\partial v_{texel}}{\partial x_{screen}}{)}^2=1$
$(\frac{\partial u_{texel}}{\partial y_{screen}}{)}^2+(\frac{\partial v_{texel}}{\partial y_{screen}}{)}^2=1$
假设取max那方向
$size=max(\sqrt{(\frac{\partial u_{texel}}{\partial x_{screen}}{)}^2+(\frac{\partial v_{texel}}{\partial x_{screen}}{)}^2},\sqrt{(\frac{\partial u_{texel}}{\partial y_{screen}}{)}^2+(\frac{\partial v_{texel}}{\partial y_{screen}}{)}^2})$
$\frac{size}{2^L}=1\to L=\frac{\log (size)}{\log 2}$

作业

已知屏幕坐标系(1200600),在片元中的三个点(属性分别为$x,y,z_{ndc},u,v)$转换到屏幕坐标系中为A(100,100,1/2,0,0),B(200,100,1/3,0,1),C(100,200,1/4,1,0),采用邻近采样，纹理图像为灰度图像，大小为5050，第0行纹理值全为0，第1行为1,…,第49行为49。求屏幕中(100,150)(即AC中点)的像素值。