GLES着色器与渲染管线

什么是渲染管线？

渲染管线也称为渲染流水线，也就是说渲染是个流水线业务。它一般是由显示芯片GPU内部处理图形信号的并行处理单元组成。这些并行处理单元两两之间是相互独立的。

渲染管线，实质上指的是一系列绘制过程。

渲染管线流程图如下：

1.基本处理

设定：3D空间中物体的顶点坐标、顶点对应的颜色、顶点的纹理坐标等属性；
指定：绘制方式，如点绘制、线段绘制、三角形绘制。

2.顶点缓冲对象

对于某些在整个场景中顶点的基本数据不变的情况，在应用程序中是可选的。

可以在初始化阶段将顶点数据经过基本处理后送入顶点缓冲对象，在绘制每一帧想要的图像时就省去了顶点数据IO的麻烦，直接从顶点缓冲对象中获取顶点数据即可。相比于每次绘制时单独将顶点数据送入GPU的方式，可以在一定程度上节省GPU的IO带宽，提高渲染效率。

3.顶点着色器

它是一个可编程处理单元，其功能是执行顶点的变换、光照、材质应用与计算等顶点的相关操作，每顶点执行一次。

工作过程：首先将原始的顶点几何信息及其他属性传送到顶点着色器中，经过自己开发的顶点着色器处理后产生纹理坐标、颜色、点位置等后继流程需要的各项顶点属性信息，然后将其传递给图元装配阶段。

输入：待处理顶点相应的in变量、unifrom变量、采样器、临时变量。
输出：经过顶点着色器后生成的out变量及一些内建输出变量。

in变量：3D物体中每个顶点各自不同的信息所属的变量，一般顶点的位置、颜色、法向量等都是以in变量的方式传入着色器的。
uniform变量：对于同一组顶点组成的单个3D物体中所有顶点都相同的量，一般为场景中的光源、当前位置的摄像机位置、投影系列矩阵等。
out变量：从顶点着色器计算产生并用于传递到片元着色器的数据变量。顶点着色器可以使用out变量来传递需要插值或不需要插值到片元的颜色、法向量、纹理坐标等任意值。

内建输出变量：
gl_Position：经过变换矩阵变换、投影后的顶点的最终位置。
gl_PointSize：点的大小。
gl_VertexID：记录顶点的整数索引。
gl_InstanceID：实例ID，只在顶点着色器中使用，对于指定的每一组图元，该ID相应递增。

out变量在顶点着色器赋值后并不是直接将赋的值传递到后继的片元着色器对应的in变量中，存在两种情况：

①out限定符之前含有smooth限定符或不含任何限定符，则传递到后继片元着色器对应的in变量的值，是在光栅化阶段由管线根据片元所属图元各个顶点对应的顶点着色器对此out变量的赋值情况及片元与各顶点的位置关系插值产生。下图说明了问题。

②out限定符之前含有flat限定符，则传递到后继片元着色器对应的in变量的值不是在光栅化阶段插值产生的，而是由图元的最后一个顶点对应的顶点着色器对此out变量所赋的值决定的，此种情况下图元中每个片元的值均相同。

先来看看图元、片元和像素三者之间的区别：

首先这3者的生成是有先后顺序的：顶点 > 图元 > 片元 > 像素

• 顶点就不解释了。
• 图元是由顶点组成的。一个顶点，一条线段，一个三角形或者多边形都可以成为图元。
• 片元是在图元经过光栅化阶段后，被分割成一个个像素大小的基本单位。片元其实已经很接近像素了，但是它还不是像素。片元包含了比RGBA更多的信息，比如可能有深度值，法线，纹理坐标等等信息。片元需要在通过一些测试（如深度测试）后才会最终成为像素。可能会有多个片元竞争同一个像素，而这些测试会最终筛选出一个合适的片元，丢弃法线和纹理坐标等不需要的信息后，成为像素。
• 像素就很好理解了，最终呈现在屏幕上的包含RGBA值的图像最小单元就是像素了。

4.图元装配

这个阶段有两个任务：

①图元组装。指顶点数据根据设置的绘制方式被结合成完整的图元。如，点绘制方式下每个图元仅需要一个单独的顶点，此方式下每个顶点为一个图元；线段绘制方式每个图元则需要两个顶点，此方式下每两个顶点构成一个图元；三角形绘制方式下需要3个顶点构造一个图元。

②图元处理。它最重要的工作是剪裁，其任务是消除位于半空间(half-space)之外的部分几何图元，这个半空间是由一个剪裁平面所定义的。如，点剪裁就是简单地接受或者拒绝顶点，线段或多边形剪裁可能需要增加额外的顶点，具体取决于直线或多边形与剪裁平面之间的位置关系。如下图所示。

如图，给出了一个三角形图元，被4个剪裁平面剪裁后，三角形3个顶点生成了6个新的顶点。

之所以要进行剪裁，是因为随着观察位置、角度的不同，并不总能看到特定3D物体某个图元的全部。剪裁时，若图元完全位于视景体以内以及自定义剪裁平面的内部，则将图元传递到后面的步骤进行处理；如果其完全位于视景体或者自定义剪裁平面的外部，则丢弃该图元；如果其有一部分位于内部，另一部分位于外部，则需要剪裁该图元。

5.光栅化

在真正执行光栅化工作之前，首先需要将虚拟3D世界中的物体投影到视平面上。

虚拟3D世界当中物体的几何信息一般采用连续的数学量来表示，但显示设备屏幕是离散化的(由一个个像素组成)，因此还需要将投影结果离散化。将其分解为一个一个离散化的小单元，这些小单元称为——片元。

每个片元都对应帧缓冲中的一个像素，之所以不直接称为像素是因为3D空间中的物体是可以相互遮挡的。一个3D物体最终显示在屏幕上虽然是一个整体，但每个3D物体的每个图元是独立处理的。这就可能出现这样的情况，系统先处理位于离观察点较远的图元，其光栅化成一组片元，暂时送入帧缓冲的对应位置。后面继续处理离观察点较近的图元时也光栅化出一组片元，两组片元中有对应的帧缓冲中的【同一个位置】，这时距离近的片元将覆盖距离远的片元（如何覆盖的检测是在深度检测阶段完成）。

每个片元包含其对应的顶点坐标、顶点颜色、顶点纹理坐标以及顶点的深度等信息，这些信息是系统根据【投影前】此片元对应的3D空间中的位置及与此片元相关的图元的各顶点信息进行插值计算而生成的。

6.片元着色器

in0~in(n)：从顶点着色器传递到片元着色器的变量，其由系统在顶点着色器后的光栅化阶段自动产生，其个数是不一定的，取决于具体的需要。

out：由片元着色器写入计算完成的片元颜色值的变量，一般在片元着色器的最后，都需要对其进行赋值，最后将其送入渲染管线的后继阶段进行处理。

顶点着色器每顶点执行一次，而片元着色器每片元执行一次，片元着色器的执行次数明显大于顶点着色器的执行次数。因此在开发中，应尽量减少片元着色器的运算量，可以将一些复杂运算尽量放在顶点着色器中执行。

7.剪裁测试

如果程序启动了剪裁测试，OpenGL ES会检查每个片元在帧缓冲中【对应位置】，若对应位置在剪裁窗口中则将此片元送入下一阶段，否则丢弃此片元。

8.深度测试和模板测试

深度测试：

模板测试：

将绘制区域限定在一定的范围内，一般用在湖面倒影、镜像等场合。

9.颜色缓冲混合

若程序开启了Alpha混合，则根据【混合因子】将上一阶段送来的片元与帧缓冲中对应位置的片元进行Alpha混合；否则送入的片元覆盖帧缓冲中对应位置的片元。

10.抖动

允许只使用少量的颜色模拟出更宽的颜色显示范围。如，使用白色和黑色模拟出一种过渡的灰色。在当下主流原生颜色就很丰富，所以一般不需要开启抖动，或者可能开启也根本不起作用。

11.帧缓冲

OpenGL ES 中的物体绘制并不是直接在屏幕上进行的，而是预先在帧缓冲区中进行绘制，每绘制完一帧再将绘制的结果交换到屏幕上。因此，在每次绘制新的一帧时都需要清除缓冲区中的相关数据，否则有可能产生不正确的绘制效果。

同时需要了解的是，为了应对不同方面的需要，帧缓冲是由一套组件组成的，主要包括：
颜色缓冲：用于存储每个片元的颜色值，每个颜色值包括 RGBA（红、绿、蓝、透明度） 4个色彩通道，应用程序运行时在屏幕上看到的就是颜色缓冲中的内容。
深度缓冲：用来存储每个片元的深度值——以特定的内部格式表示的从片元处到观察点（摄像机）的距离。在启用深度测试的情况下，新片元想进入帧缓冲时需要将自己的深度值与帧缓冲中对应位置片元的深度值进行比较，若结果为小于才有可能进入缓冲，否则被丢弃。
模板缓冲：用来存储每个片元的模板值，供模板测试使用。模板测试是几种测试中最为灵活和复杂的一种。

OpenGL ES中的坐标系统：

从最右侧图中可以看出，OpenGL ES 中采用的是左手标架坐标系。一般来说，初始情况下y轴平行于屏幕的竖边，x轴平行于屏幕的横边，z轴垂直于屏幕平面。