Android图形绘制系统

一、GPU
1.GPU与CPU结构差异
上图展示了GPU和CPU在结构上的差异，CPU大部分面积为控制器和寄存器，与之相比，GPU拥有更多的ALU（Arithmetic Logic Unit，逻辑运算单元）用于数据处理，而非数据高速缓存和流控制，这样的结构适合对密集型数据进行并行处理。CPU执行计算任务时，一个时刻只处理一个数据，不存在真正意义上的并行，而GPU具有多个处理器核，在一个时刻可以并行处理多个数据。
2.GPU与CPU交互过程
首先从硬盘中读取模型， CPU分类后将多边形信息交给GPU，GPU再时时处理成屏幕上可见的多边形，但是没有纹理只有线框。

模型出来后，GPU将模型数据放进显存，显卡同时也为模型贴材质，给模型上颜色。CPU相应从显存中获取多边形的信息。然后CPU计算光照后产生的影子的轮廓。等CPU计算出后，显卡的工作又有了，那就是为影子中填充深的颜色
3.并行运算
为了进一步提高并行度，可以增加流水线的条数。在GPU中，有多达16组像素着色器流水线，6组顶点着色器流水线。多条流水线可以在单一控制部件的集中控制下运行，也可以独立运行。在单指令多数据流（SIMD）的结构中，GPU通过单指令多数据(SIMD)指令类型来支持数据并行计算。在单指令多数据流的结构中，单一控制部件向每条流水线分派指令，同样的指令被所有处理部件同时执行。

另外一种控制结构是多指令多数据流（MIMD），每条流水线都能够独立于其他流水线执行不同的程序。显卡的顶点着色器流水线使用MIMD方式控制，像素着色器流水线使用SIMD结构。MIMD能比较有效率地执行分支程序，而SIMD体系结构运行条件语句时会造成很低的资源利用率
二、OpenGL
OpenGL到底是什么。一般它被认为是一个API(Application Programming Interface, 应用程序编程接口)，包含了一系列可以操作图形、图像的函数。然而，OpenGL本身并不是一个API，它仅仅是一个由Khronos组织制定并维护的规范(Specification)。如果没有图形编程接口，我们要访问GPU，就需要直接和各种寄存器、显存打交道，所以OpenGL就是在这些硬件的接触上实现了一层抽象。

OpenGL规范严格规定了每个函数该如何执行，以及它们的输出值。至于内部具体每个函数是如何实现(Implement)的，将由OpenGL库的开发者自行决定（注：这里开发者是指编写OpenGL库的人）。因为OpenGL规范并没有规定实现的细节，具体的OpenGL库允许使用不同的实现，只要其功能和结果与规范相匹配（亦即，作为用户不会感受到功能上的差异。

三、Android图形显示子系统
图形显示系统可以分为两大部分来理解：
1.图形系统
图形系统也就是图形支持系统，提供绘图和图形处理支持。包括最初的2D绘图API Skia，后来的3D绘图API OpenGLES，RenderScript，OpenCV，到最近的Vulkan。也包括图片解码库，jpg，png，gif等。以及它们所需要的各种Driver支持。

但是Android为了方便大家，我们在做应用开发的时候，并不用大家直接用各种API去绘制界面，也不用直接用解码库去解码。Android已经给大家提供了一个界面绘制机制，有很多widget和view，Android的应用开发者，用现有的widget就能够绘制出比较酷炫的界面。

Android提供的大多view和widget都是2D的绘图，2D绘图比较慢，也发挥不出GPU的作用，因此Android又设计了一套加速系统，硬件加速。其目的就是将2D的绘图操作转换为一个个的3D（Opengl）绘图，再采用部分更新的方式，只去重绘界面中有更新的部分view，这样就大大提升界面绘制的速度。
2.显示系统

图形绘制好了后，需要送到LCD显示屏上，我们才能看到。绘制界面时，我们只关心单个界面，显示的时候，可能就有多个界面了。做过Android应该开发的都知道，我们需要继承一个Activity，用Activity呈现我们的界面。Activity的生命周期管理，也就伴随了窗口的管理。这中间就涉及了两个Android中两个主要的服务，AMS（ActivityManagerService）和WMS（WindowManagerService）。View，AMS，WMS可以说是整个上层显示系统的三驾马车。

在Android中，一个窗口用一个Surface描述。多个窗口（窗口不一定都是Activity），需要同时显示，我们就需要将多个窗口进行合并。这就需要显示系统中重量级的服务SurfaceFlinger，Surfaceflinger控制窗口的合成，将多个窗口合并成一个，再送到LCD。

Surfaceflinger是Native的服务，Surfaceflinger中怎么去描述一个窗口呢？Surfaceflinger采用图层的概念，即Layer。SurfaceFlinger合成，就是基于Display HAL的实现，将多个Layer合并。Display HAL，各个厂商的实现就千差万别了。
3.Surface合成
界面很简单，拆开来看，包含微信、悬浮工具箱、通知栏、底部虚拟按键栏。
上层每一个界面，其实都对应SufaceFlinger里的一个Surface对象，上层将自己的内容绘制在对应的Surface内，接着，SufaceFlinger需要将所有上层对应的Surface内的图形进行合成，具体看下图：
SurfaceFlinger就是将多个Surface里的内容进行合成，最后提交到屏幕的后缓冲区，等待屏幕的下一个垂直同步信号的到来，再显示到屏幕上。

Surface：
1.对应上层的一个Window（对话框、Activity、状态栏）
2.作为上层图形绘制的画板
3.Canvas是画笔，上层通过调用Canvas的API向Surface上绘制图形
4.Surface内部存在多个缓冲区，形成一个BufferQueue

4 .Surface Buffer
图形的传递是通过Buffer作为载体，Surface是对Buffer的进一步封装，也就是说Surface内部具有多个Buffer供上层使用，如何管理这些Buffer呢？
Surface内部提供一个BufferQueue，与上层和SurfaceFlinger形成一个生产者消费者模型，上层对应Producer，SurfaceFlinger对应Consumer。三者通过Buffer产生联系，每个Buffer都有四种状态：

Free：可被上层使用
Dequeued：出列，正在被上层使用
Queued：入列，已完成上层绘制，等待SurfaceFlinger合成
Acquired：被获取，SurfaceFlinger正持有该Buffer进行合成

Buffer的一次转移过程大致为：

从BufferQueue转移到上层
上层绘制完成再放回BufferQueue
接着SurfaceFlinger再拿去合成
最后又放回BufferQueue

如此循环，形成一个Buffer被循环使用的过程。
5.VSync

• CPU和GPU代表上层的绘制执行者
• Composite代表的是SurfaceFlinger对多个Surface的合成
• Background Buffer和Front Buffer分别代表的是硬件帧缓冲区中的前缓冲和后缓冲
• 显示屏扫描完一帧之后，会发出VSync信号来切换并显示下一帧

四、Gralloc 图形分配

在Android系统中，在系统帧缓冲区中分配的图形缓冲区是在SurfaceFlinger服务中使用的，而在内存中分配的图形缓冲区既可以在SurfaceFlinger服务中使用，也可以在其它的应用程序中使用。当其它的应用程序需要使用图形缓冲区的时候，它们就会请求SurfaceFlinger服务为它们分配，因此，对于其它的应用程序来说，它们只需要将SurfaceFlinger服务返回来的图形缓冲区映射到自己的进程地址空间来使用就可以了