TA入门笔记（六）

参考may佬《技术美术百人计划》
冯乐乐《Unity Shader入门精要》
《OpenGL ES 3.0 编程指南》

图形1.4 PC手机图形API介绍

基础概念

电脑的工作原理： 电脑是由各种不同的硬件组成，由驱动软件驱使硬件进行工作。所有的软件工程师都会直接或间接的使用到驱动

图形API定义： 是一个图形库，用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口（API），针对GPU。

应用端： 即我们自己的程序端，相对于OpenGL ES，我们属于应用端

图元： 图形元素，要渲染的几何物体或形状。

纹理： 在OpenGl ES中纹理就是图片的另一种叫法

纹素： 纹理的基本单元。就如同图像是由像素组成的，纹理是由纹素组成的

顶点数组： 顶点指的是组成图元的各个顶点的坐标数据（在3D笛卡尔坐标系中的x,y,z坐标），这些坐标数据可以一起存到一个内存数组中，这个数组就叫做顶点数组

顶点缓冲区： 在显存中专门分配一块显存来存储这个顶点数组，这个显存就称为顶点缓冲区

顶点着色器： 流水线的第一个阶段，主要工作有坐标变换和逐顶点光照，还可以输出后续阶段需要的数据

片元着色器： 输入从顶点着色器中输出的数据插值得到的结果，输出一个或多个颜色值

DirectX，OpenGL，OpenGL ES

Khronos定义了OpenGL，微软定义了DirectX
目前手机，不管是IOS还是Android，都是支持OpenGL ES。
电脑：Windows系统支持DirectX和OpenGL，Linux；Mac（Unix）系统支持OpenGL

Khronos 对图形和计算的开放标准发展历史：

OpenGL ES

相同点

相比于OpenGL ES 1.x系列的固定功能管线，OpenGL ES 2.0和OpenGL ES 3.0都是可编程图形管线。开发者可自己编写图形管线中的 顶点着色器 和 片元着色器 两个阶段的代码

不同点

1. 兼容性

OpenGL ES 3.0是向后兼容OpenGL ES 2.0的。也就是说使用2.0编写的应用程序是可以在3.0中继续使用的。

2. 新特性

采用阴影贴图、体渲染（volume rendering）、基于GPU的粒子动画、几何形状实例化、纹理压缩和伽马校正等技术的重要功能在2.0中都不具备。3.0将这些功能引入，同时继续适应嵌入系统的局限性。

3. 渲染管线

3.0中移除了Alpha测试和逻辑操作（Logic Op）两部分，这两部分存在于OpenGL ES 2.0和OpenGL ES 1.x中。移除Alpha测试是因为片元着色器可能抛弃片段，因此Alpha测试可以在片元着色器中进行；移除逻辑操作是因为很少被使用。

4.着色器脚本编写

（1）版本声明

必须在着色器脚本中使用#version 300 es 声明为指定使用OpenGL ES 3.0 版本。

#version 300 es
layout(location = 0) in vec4 vPosition; 
void main() {    
	gl_Position = vPosition;
}

而不添加版本声明或使用#version 100 es声明版本则指定使用OpenGL ES 2.0。

• 以往 2.0 刚刚出来可编程的图形管线，所以版本声明为 #version 100 es ，后来为了使版本号相匹配，OpenGL ES 3.0 的 shader 版本直接从1.0 跳到了 3.0 。

（2）输入输出

3.0中新增了in，out，inout关键字，用来取代attribute 和 varying 关键字。同时 gl_FragColor 和 gl_FragData 也删除了，片元着色器可以使用out声明字段输出。

（3）变量赋值

3.0中可以直接使用layout对指定位置的变量赋值。

# shader脚本中
layout (location = 1) uniform float a;

代码中，直接写上对应的layout值就可以赋值

GLES30.glUniform1f(1, 1f);

2.0中必须使用如下形式赋值：

GLES20.glUniform1f(GLES20.glGetAttribLocation(program, "a"), 1f)

OpenGL ES 3.0 新功能

纹理

1. sRGB纹理和帧缓冲区——允许应用程序执行伽马校正渲染。纹理可以保存在经过伽马校正的sRGB空间，在着色器中读取时反校正到线性空间，然后在输出到帧缓冲区时转换回sRGB伽马校正空间。通过在线性空间中正确地进行照明和其它计算，可能得到更高的视觉保真度。
2. 2D纹理数组——保存一组2D纹理的纹理目标。例如这些数组可以用于执行纹理动画。在2D纹理数组出现之前，这种动画一般通过在单个2D纹理中平铺动画帧并修改纹理坐标改变动画帧来实现。有了2D纹理数组，动画的每个帧可以在数组的一个2D切片中指定。
3. 3D纹理。一些OpenGL ES 2.0实现通过扩展支持3D纹理，而OpenGL ES3.0将此作为强制的功能。
4. 深度纹理和阴影比较——启用存储在纹理中的深度缓冲区。深度纹理的最常见用途是渲染阴影，这时深度缓冲区从光源的角度渲染，然后用于在渲染场景时比较，以确定片段是否在阴影中。除了深度纹理外，OpenGL ES 3.0可以在读取时比较深度纹理，从而在深度纹理上完成双线性过滤。
5. 无缝立方图——以往立方图渲染可能在立方图各面之间的边界产生伪像。在OpenGL ES 3.0中，立方图可以进行采样如过滤来使用相邻面的数据并删除接缝处的伪像。
6. 浮点纹理——OpenGL ES 3.0扩展了支持的纹理格式。支持并可以过滤半浮点纹理（16位），也支持全浮点纹理（32位），但不能过滤。
7. ETC2/EAC纹理压缩——OpenGL ES 3.0中强制支持ETC2/EAC。ETC2/EAC的格式为RGB888，RGBA8888和单通道及双通道有符号/无符号纹理数据。纹理压缩的好处包括更好的性能以及减少GPU内存占用。
8. 整数纹理——OpenGL ES 3.0引入了渲染和读取保存为未规范化有符号或无符号8位、16位和32位整数纹理的能力。
9. 其它纹理格式——OpenGL ES 3.0还包含了对11-11-10 RGB浮点纹理、共享指数RGB 9-9-9-5纹理、10-10-10-2整数纹理以及8位分量有符号规范化纹理的支持。
10. 非2幂次纹理（NPOT）——纹理现在可以指定为不为2的幂次尺寸。
11. 纹理细节级别（LOD）——现在可以强制使用用于确定读取哪个Mipmap的LOD参数。此外，可以强制基本和最大Mipmap级别。这两个功能组合起来，可以流化Mipmap。在更大的Mipmap级别可用时，可以提高基本级别，LOD值可以平滑地增加，以提供平滑的流化纹理。这一功能非常有用，例如用于通过网络连接下载纹理Mipmap。
12. 纹理调配——引入新的纹理对象状态，允许独立控制纹理数据每个通道（R、G、B、A）在着色器中的映射。
13. 不可变纹理——为应用程序提供在加载数据之前指定纹理格式和大小的机制。在这样做的时候，纹理格式不可变，OpenGL ES驱动程序可以预先执行所有一致性和内存检查。通过允许驱动程序在绘制的时候跳过一致性检查，可以改善性能。
14. 最小尺寸增大——OpenGL ES 3.0支持远大于OpenGL ES 2.0的纹理资源。

着色器

1. 二进制程序文件——在OpenGL ES 2.0中可以二进制格式存储着色器，但是仍需要在运行时链接到程序。在OpenGL ES 3.0中，完全链接过的二进制程序文件可以保存为离线二进制格式，运行时不需要链接步骤。这有助于减少应用程序的加载时间。
2. 强制的在线编译器——在OpenGL ES 2.0可以选择驱动程序是否支持着色器的在线编译，意图是降低驱动程序的内存需求，但是这一功能代价很大，开发人员不得不依靠供应商专用工具来生成着色器。在OpenGL ES 3.0中，所有实现都有在线着色器编译器。
3. 非方矩阵——支持方阵之外的新矩阵类型，并在API中增加了相关的统一调用，以支持这些矩阵的加载。非方矩阵可以减少执行变换所需的指令。例如执行仿射变换时，可以使用43矩阵代替最后一行为(0, 0, 0, 1)的44矩阵，从而减少执行变换所需的指令。
4. 全整数支持——支持整数（以及无符号整数）标量和向量类型以及全整数操作。有各种内建函数可以实现从整数到浮点数、从浮点数到整数的转换以及从纹理中读取整数值和向整数颜色缓冲区中输出整数值的功能。
5. 质心采样——为了避免在多重采样时产生伪像，可以用质心采样声明顶点着色器和片段着色器的输出变量
6. 平面/平滑插值程序——在OpenGL ES 2.0中所有插值程序均隐含地在图元之间采用线性插值。在OpenGL ES 3.0中插值程序可以显式声明为平面或者平滑着色。
7. 统一变量块——统一变量值可以组合为统一变量块。统一变量块可以更高效地加载，也可在多个着色器程序间共享。
8. 布局限定符——顶点着色器输入可以用布局限定符声明，以显式绑定着色器源代码中的位置，而不需要调用API。布局限定符也可以用于片段着色器的输出，在渲染到多个渲染目标时将输出绑定到各个目标。而且，布局限定符可以用于控制统一变量块的内存布局。
9. 实例和顶点ID——顶点索引现在可以在顶点着色器中访问，如果使用实例渲染，还可以访问实例ID。
10. 片段深度——片段着色器可以显式控制当前片段的深度值，而不是依赖深度值的插值。
11. 新的内建函数——引入了许多新的内建函数，以支持新的纹理功能、片段导数、半浮点数据转换和矩阵及数学运算。
12. 宽松的限制——大大放松了对着色器的限制。着色器不再限于指令长度，完全支持变量为基础的循环和分支，并支持数组索引。

几何形状

1. 变换反馈——可以在缓冲区对象中捕捉顶点着色器的输出。这对许多在GPU上执行动画而不需要CPU干预的技术很实用，例如，粒子动画或者使用“渲染到顶点缓冲区”的物理学模拟。
2. 布尔遮挡查询——应用程序可以查询一个（或者一组）绘制调用的任何像素是否通过深度测试。这个功能可以在各种技术中使用，例如镜头眩光效果的可见性确定，以及避免在边界被遮挡的对象上进行几何形状处理的优化。
3. 实例渲染——有效地渲染包含类似几何形状但是属性（例如变化矩阵、颜色或者大小）不同的对象。这一功能在渲染大量类似对象时很有用，例如人群的渲染。
4. 图元重启——在OpenGL ES 2.0中为新图元使用三角形条带时，应用程序必须在索引缓冲区中插入索引，以表示退化的三角形。在OpenGL ES 3.0中，可以还是要特殊的索引值表示新图元的开始。这就消除了使用三角形条带时生成退化三角形的需求。
5. 新顶点格式——支持包括10-10-10-2有符号和无符号规范化顶点属性；8位、16位和32位整数属性；以及16位半浮点。

缓冲区对象

1. 统一变量缓冲区对象——为存储/绑定大的统一变量块提供高效的方法。统一变量缓冲区对象可以减少将统一变量值绑定带着色器的性能代价，这是OpenGL ES 2.0应用程序中的常见瓶颈。
2. 顶点数组对象——提供绑定和在顶点数组状态之间切换的高效方法。顶点数组对象实际上是顶点数组状态的容器对象。使用它们，应用程序可以在一次API调用中切换顶点数组状态，而不是发出多个调用。
3. 采样器对象——将采样器状态（纹理循环模式和过滤）与纹理对象分离。这为在纹理中共享采样器状态提供了更高效的方法。
4. 同步对象——为应用程序提供检查一组操作是否在GPU上完成执行的机制。相关的新功能是栅栏（Fence），它为应用程序提供了通知GPU应该等待一组操作结束才能接受更多操作进入执行队列的方法。
5. 像素缓冲对象——使应用程序能够执行对像素操作和纹理传输操作的异步数据传输。这种优化主要是为了在CPU和GPU之间提供更快的数据传输，在传输操作期间，应用程序可以继续工作。
6. 缓冲区子界映射——使应用程序能够映射缓冲区的一个子区域，供CPU访问。这可以提供比传统缓冲区映射更好的性能，在传统缓冲区映射中，必须使整个缓冲区可用于客户。
7. 缓冲区对象间拷贝——提供了高效地从一个缓冲区对象向另一个缓冲区对象传输数据的机制，不需要CPU干预。

帧缓冲区

1. 多重渲染目标（MRT）——允许应用程序同时渲染到多个颜色缓冲区。利用MRT技术，片段着色器输出多个颜色，每个用于一个相连的颜色缓冲区。MRT用于许多高级的渲染算法，例如延迟着色。
2. 多重采样渲染缓冲区——使应用程序能够渲染到具备多重采样抗锯齿功能的屏幕外帧缓冲区。多重采样帧缓冲区不能直接绑定到纹理，但是可以用新引入的帧缓冲区块移动解析为单采样纹理。
3. 帧缓冲区失效提示——OpenGL ES 3.0的许多实现使用基于块状渲染（TBR）的GPU。TBR常常在必须为了进一步渲染到帧缓冲区而毫无必要地恢复图块内容时导致很高的性能代价。帧缓冲区失效为应用程序提供了通知驱动程序不再需要帧缓冲区内容的机制。这使驱动程序能够采取优化步骤，跳过不必要的图块恢复操作。这一功能对于在许多应用程序中实现峰值性能很重要，特别是那些进行大量屏外渲染的程序。
4. 新的混合方程式——OpenGL ES 3.0支持最大值/最小值函数作为混合方程式。

骁龙Adreno对应ES版本型号

Adreno是由高通开发的SIP核GPU并用于其自家的SoC，该核心最初作为BitBoys（英语：BitBoys）从事GPU开发工作。 2006年，BitBoys被ATI收购开设Imageon产品线。2006年AMD收购ATI。2009年1月，AMD出售Imageon予高通。随后，Imageon被更名为Adreno。

• 也就是常说的骁龙手机端GPU框架
• 可通过 https://zh.wikipedia.org/wiki/Adreno查看对应的手机芯片支持的OpenGL ES 的版本
• Adreno 320 开始稳定支持OpenGL ES 3.0
• Adreno 420 开始支持OpenGL ES 3.2

Vulkan

Vulkan是一个跨平台的2D和3D图形API，由Khronos在2015年游戏开发者大会（GDC）上发表。

• 跨平台，能够实现桌面和移动统一原生支持，但是不支持苹果
• 目前仍有相当多的存量设备不支持Vulkan，厂商的驱动兼容性也不可控
• 相对与OpenGL而言，是较低层的API，能够释放更多的硬件性能，但是学习难度会更大
• 就像ES 3.0 正在逐渐取代ES 2.0 一样，性能高、兼容性好的Vulkan同样也会在未来的某一天取代OpenGL，只不过这还需要很长的一个阶段