Games101 笔记 Lecture 7-9 Shading [Graphics pipeline, Texture Mapping]
Graphics (Real-time Rendering) Pipeline
图形管线 or 实时渲染管线
管线:从一个场景到一张图,中间经历的过程称为管线,表现的是一系列操作。
过程:
从一开始,输入是一堆空间中的点,并且经过了第一步之后,做一个投影变换,将三维空间中的点投影到平面上,这些点会形成三角形,通过光栅化离散成不同的fragment,画在离散的屏幕上(在不做MSAA之类的情况下,可以认为一个fragment就是一个像素)。当将三角形打散在屏幕上之后,开始对其进行着色,每个像素都知道是什么样的颜色,然后得到整个屏幕的表现。如果用了MSAA,就是好多个不同的fragment会形成一个像素的颜色,需要维护每个fragment对应的深度和颜色,最后再拼成一个图。
MVP变换,将每一个顶点做一次变换。
光栅化:对屏幕上每个像素点看是否在三角形内。
Z-buffer:当光栅化产生一定数量的fragment or 像素之后,判断是否可见。
Shading:顶点和像素都会有shading。(取决于着色的方法)
该部分大多都是可编程的。(用Shader控制顶点和像素是如何着色的)
纹理映射:三角形内部的像素与纹理的对应关系。
Shader Programs
现代GPU允许自己编程去解决顶点和像素如何进行操作的问题。
Shader本质上是可以在硬件上执行的语言。
Program vertex and fragment processing stages
Describe operation on a single vertex(or fragment)
- Shader function executes once per fragment.
- Outputs color of surface at the current fragment’s screen sample position.
- This shader performs a texture lookup to obtain the surface’s material color at this point, then performs a diffuse lighting calculation.
注意:
- Shader是每一个顶点or fragment(pixel)会执行一次,写完之后是通用的,每一个元素都需要如此运作。里面不需要写for循环。
- 如果写的是顶点的操作,就叫做Vertex Shader(顶点着色器)
- 如果写的是像素的操作,就叫做Pixel Shader (像素着色器)或Fragment Shader(片段着色器)
Texture Mapping
说明
定义任何一个点的基本属性。(这个点定义在物体表面上)
- Surface lives in 3D world space. 任何一个三维物体的表面都是二维的。通过这种方式,物体表面和一张图会存在一一对应关系。
- Every 3D surface point also has a place where it goes in the 2D image (texture)
- 将这张纹理图片蒙在物体表面的过程就是纹理映射。映射是一一对应的关系,因此需要找到物体表面的点和纹理之间的映射关系。
映射关系的得到方法
- 需要艺术家的创作,做出一个模型,然后通过一种展开的方式对应。
- 自动化的过程。给定任何一个模型,使用一种办法展开一个平面,并且还希望产生的三角形尽可能的少扭曲。如果保证纹理上对应颜色无缝衔接就更好了。
Visualization of Texture Voordinates
Each triangle vertex is assigned a texture coordinate (u,v).
uv的范围通常归一化到[0,1]内。
三角形每一个顶点都对应一个uv。
纹理可以应用到各种不同的物体表面。
不同的位置可以映射到相同的纹理上,纹理可以重复使用。纹理本身的设计也很重要。
Interpolation Across Triangles: Barycentric Coordinates
三角形的三个顶点有各自不同的属性,如何将这个属性在三角形内部做平滑的过度。任意给定三角形内的点,应该得到插值之后的结果。
重心坐标 Barycentric Coordinates
Q1: Why do we want to interpolate:
- Specify values at vertices.为了在三角形内部做插值,而引入重心坐标。
- Obtain smoothly varying values across triangles.
Q2: What do we want to interpolate?
- Texture coordinates, colors, normal vectors,…
重心坐标是定义在一个三角形上的。
首先有一个三角形ABC,重心坐标指的是,在三角形ABC三个点所形成的的平面内任意一点(x,y)都可以表示为三个顶点A,B,C的线性组合。
( x , y ) = α A + β B + γ C α + β + γ = 1 (x,y) = \alpha A + \beta B + \gamma C \\ \alpha + \beta + \gamma = 1 (x,y)=αA+βB+γCα+β+γ=1
和为1是为了限制点在三角形所在的平面内。
如果三个系数均为非负,则该点在三角形内部。
A点的重心坐标:
( α , β , γ ) = ( 1 , 0 , 0 ) ( x , y ) = α A + β B + γ C = A (\alpha , \beta ,\gamma) = (1,0,0) \\ (x,y) = \alpha A + \beta B + \gamma C = A (α,β,γ)=(1,0,0)(x,y)=αA+βB+γC=A
某一点的重心坐标还可以通过面积求出。
α = A A A A + A B + A C β = A B A A + A B + A C γ = A C A A + A B + A C \alpha = \frac {A_A} {A_A+A_B+A_C}\\ \beta = \frac {A_B} {A_A+A_B+A_C}\\ \gamma = \frac {A_C} {A_A+A_B+A_C} α=AA+AB+ACAA