显示硬件发展与视频开发系列(4)----移动时代

5、移动时代

       移动时代可以追踪到很远，从古老的电台到1948年贝尔实验室的Bell boy，到1956年摩托罗拉的BP机。寻呼机的发展历史，主要是通讯技术的进步。和主题有一定偏差，不做阐述。翻开半个多世纪的画卷，历史没有想到的是，通讯技术在今天有如此傲娇的成绩。

       早期电脑至上，后来移动至上。不可怀疑的是，移动互联网高速发展的今天，手机成为应用系统最重要的终端。

       移动端图形系统的研究，是移动应用终端开发的重中之重，也是手机底层技术的核心要素。

       本篇从手机发展史起笔，到移动显示芯片厂家、移动芯片技术与流行图形库讲述，希望给移动端音视频开发带来有益的启示。

5.1、手机时代

       那年的“hello moto”，能否勾起你绵绵的情思。这颗圆圆的行星，”hello moto”之声奏响了银河系无线通讯的号角。那个年代手提电话(也叫移动电话)，还不叫手机，绰号大哥大，也叫板砖。当年的大哥大仅仅局限通话，短信功能也不具备。有了大哥大，不学数理化，大哥大成为了身份的象征。

       硬件技术的进步，手机向小型化发展。两个企业的高光时刻带来了，当年的摩托罗拉和诺基亚堪称业界大哥，赚钱赚到罗马。从早期的单色屏逐渐发展到彩色屏。从1990年到2005年，那是诺基亚和摩托罗拉的时代。昨日年少英雄，指点江山，今天英雄白发，美人谢幕。互联网给我们多少唏嘘。

       工艺的提升不仅推动硬件设计的进步，更推动软件系统的发展，手机应该拥有更强大的功能。在这一大环境下，SmartPhone、Symbian、Linux手机操作系统不断涌现，为智能手机系统发展发起了前期的火力侦察。

       乔布斯担负着上帝赋予的伟大使命，2007年，Iphone诞生了。伴随着Iphone的诞生，Android的出现，智能时代到来了。完成了伟大使命的乔帮主，这位天选之子，4年之后，撒手人寰，魂归天堂。而他，留下了这颗行星上市值最高的公司。

       智能手机的兴起，促进移动端硬件提升，显示技术也有很大变化。移动时代硬件发展同样精彩,充满了竞争与杀戮，野蛮和邪恶，和PC端同样精彩。软件方面相对平滑平淡，没有大的开开合合。

       手机的发展史，也是一部无线技术的发展史。硬件技术与通讯规范密切相关，翻开移动通讯的日记，从1G到5G，感时光如梭，叹技术神速。通讯技术规范不属于本主题内容，不做阐述。

       移动时代芯片科技，看到了中国企业的影子，东方用资本开始了买买买的过程。对芯片技术的渴求，资本是最直接的倾诉。期望不远的未来，有一家拥有核心技术的东方芯片厂商。在技术的长河中，书写浓重的一笔。在芯片的交响乐中，奏出中国的声音。

       波澜壮阔的手机应用，后台是芯片技术的驱动。下一节，我们从芯片的角度回顾。

5.2、移动端主流显示芯片

5.2.1、ARM

       ARM不仅进行嵌入式CPU架构授权，也进行GPU架构授权。在芯片架构设计上，ARM稳坐头把交椅。2006年，ARM 完成对挪威Falanx公司的收购，获得其移动GPU技术，完成对原有IP技术的扩展。也就是从那个年代开始，ARM闪亮登场。

       ARM是有先见之明的，15年后，GPU广泛用于智能手机、DTV和平板电脑等多种设备。15年时间，ARM Mali技术成为全球出货量第一的GPU，预计2020年总计出货量就超过15亿。在移动图形硬件发展史上，ARM mail是必谈的技术。

       Mali GPU架构发展了3代，Utgard、Midgard和Bifrost。Utgard的代表是Mali-400 MP，三星的Exynos4412用的就是这款GPU，Mali-450至今的一些电视芯片还在使用（例如小米电视）。Midgard的型号是Mali-T系列，联发科Helio X20就用的是Mali-T880，而Bifrost的型号是Mali-G系列。

       ARM的Mali可以说是ARM CPU的“黄金搭档”，架构上不是最先进，普及率非常高，低廉的授权费是芯片厂商比较喜欢的。ARM科技与方案的授权，保证了技术纯粹，降低了经营风险。

       Mali是一款高端GPU，将图形IP视觉娱乐变为现实，市场占安卓智能手机30%以上，可与PowerVR SGX系列GPU对比。

       应用基于ARM体系结构的移动设备上，得益于CPU占有率发展迅猛。ARM® Mali™ 系列 GPU 为所有嵌入式图形 IP 和视频 IP 提供完善的解决方案，使设备制造商和内容开发商能够为最广泛的消费类设备（手机、游戏机、智能本、HDTV）提供最高质量的尖端多媒体解决方案。GPU是近些年硬件最重要的应用之一，当年ARM收购Falanx简直是神来之笔，为ARM的做大做强埋下了伏笔。

       Mali 嵌入式图形 IP 设计用于提高能源效率和解决性能问题，包括世界上最小的 GPU、完整多核可扩展性（最高可达 1080p）、用于可视计算的 GPU 的通用计算 (GPGPU) 以及多用途应用程序。所有 Mali GPU 都受预先集成的 Mali 图形驱动程序软件支持。

       灵活性是要考虑的一个重要因素，支持的业界标准开放式 API 包括OpenVG、OpenGL ES、OpenCL以及DirectX®。这些是ARM成功的基础。

       ARM在芯片架构设计上，有多见的经验积累。高通在通讯领域里，有最好的技术产品。

5.2.2、Qualcomm

       高通（Qualcomm）的英文是Quality Communications，翻译就是高质量通信。创始人雅各布斯是搞通信工程搞到卫星领域的男人，高通今天“连接万物”的使命从创立那天就奠定了。这是一家超强的公司，其技术延续性与强大性首屈一指。在这个年代的人，都用过高通的产品或者技术。

       1985年成立的公司，在1989开始推广CDMA。业界的注意力都在TDMA技术上（后来演变成GSM），高通靠着自己的实验和测试，让CDMA在1993年成为行业标准并和GSM分庭抗礼，这就是高通的水平。

       高通研发投入占比常年在收入的20%以上。前30年，高通累计投入了超过440亿美元的研发经费，获得了超过13万项全球专利。

       2007年，那一年发生了两件改变世界的事情：乔布斯发布iPhone，高通推出了骁龙芯片Snapdragon S1。

       13年间，高通在移动SoC领域打赢过两次重大战役，第一次让德州仪器、英伟达这些业界大厂退出了移动高端市场。第二次则是让联发科败走中高端。中途还插播过英特尔靠着Atom+补贴，打了几年酱油的历史。这些恐怖成绩的存在，是高通对硬件技术的不懈追求。

       时间线调回2007年，从那时开始，高通每年的SoC，都会带着新的制程、新的CPU、GPU和调制解调器亮相。高通在调制解调器上的优势，犹如不可逾越的鸿沟，把其它大厂排挤在千里之外。高通把调制解调器分为两种，一种骁龙，一种其它。

       2007年安卓和Windows Mobile的蛮荒时代，高通MSM7225/7625这些上古的SoC连GPU都已经支持3G了，比国内称为3G元年的2009年还早了整整2年。作为移动技术的顶级元老，这个不让人意外。

       移动GPU，特别是Adreno系列，在近10几年一直维持着远超摩尔定律的性能增速。这个故事出现得最密集的词，就是“暴涨”二字。在众多公司中，高通像一个工程师一样，坚守硬件设计的阵地。

       2009年，MSM7227（隶属骁龙S1）搭载的Adreno 200，其浮点性能是2.1GFLOPS。而2012年初的Adreno 225上，浮点性能已经暴涨了10数倍，达到25 GFLOPS。

       手机GPU和电脑有一定的区别，手机GPU是整合到SoC内的，电脑可以有独立显卡。高通的adreno的技术部分源自高通从AMD收购的移动GPU部门。

       高通的GPU市场占有率很高，adreno的表现也足够优秀，支持足够多的新特性，性能比较强，功耗表现也很理想。

       如果说2015年之前，其他厂商的GPU还算和高通追得很紧的话，那在骁龙820/821的Adreno 530开始，高通就进入了无人之境。或是从绝对性能，或是从能耗比上，拉开了和苹果、三星、海思、联发科的差距。现在唯一能在GPU性能上跟着高通的，就只剩苹果了。但同代产品上，高通总是能在能耗比上压苹果一头。

       让人疯狂的是，除了能耗比其它公司占优之外，高通的Adreno几乎常年都是用着同代面积最小的GPU芯片面积。三星Exynos 9810上的GPU面积达到了25 mm2，Kirin 970上也有18 mm2，但高通硬生生只用了10 mm2出头的芯片面积，做到了更强的性能更低的能耗。

       高通在嵌入式技术上的能力是有目共睹的，嵌入式硬件对移动端提供了核心的支持。在图形图像视频硬件技术上，高通道高一丈。、

       在互联网众多科技公司中，高通算是厚积薄发。在企业发展上，稳健踏实，在芯片领域具有举足轻重的地位。在互联网、人工智能高速发展的今天，高通的硬实力展现出来。

       苹果感谢高通，高通的存在，阻击了一线科技公司对苹果的围剿。在技术大潮中，高通不断为苹果输送技术的血液，成就了苹果的万亿帝国。

5.2.3、Apple

       2006年到2013年，AMD和NVIDIA在移动市场竞争中完全失策。丢掉全球移动GPU主要供应商的同时，苹果一步步取代他们并成为最强大、最主流的GPU处理器的生产者。AMD和NVIDIA重蹈Intel的覆辙，丢掉移动GPU市场。

       当年Intel未能预料iPhone的潜力，忽视了移动市场。让ARM从一家基础移动处理器生产商一跃成为智能手机和平板处理器的主要生产商，而移动GPU的发展也十分相似。历史不断的给苹果机会，并给与其把握机会的能力。

       iOS符合用户知觉，视觉美观，图形环境(归功于GPU加速)，这是iPhone销量居高不下的因素。Google完全没有意识到iPhone成功的关键。

 

       iPhone对GPU的重视，让iPhone适合游戏。从一开始，游戏是苹果应用商店里的主角，改变了大众对苹果“没有游戏”的印象。iPhone、iPod touch还有2010年的iPad，均作为独立的移动游戏设备颠覆了游戏市场。

       苹果推出了新的API：Metal。很多优秀的开发者都利用了这套新的API开发新应用。Metal可以让游戏和其他需要图形性能的应用绕过OpenGL，利用苹果64位处理器的强大GPU。苹果在图形处理速度上有很大优势，在移动游戏方面尤其明显；而Metal则让优势进一步增加。

       苹果把Imagination的人挖了之后自研了GPU，然后把这帮人解散了。这件事情告诉我们，苹果是靠不住的，不知道哪天又会卸磨杀驴。

       近些年苹果GPU走向自研道路。未来谁掌握了最强的手机图形性能，谁就可以在市场上获得更大主动权，苹果深谙此道。在进行技术拓展的同时，进一步巩固A系列芯片的性能优势。

       A11尽管采用的是和骁龙835一样的10nm工艺，整体性能仍然强于骁龙835。GPU相比A10提升了30%，三核心设计，并对沉浸式 3D 游戏和 AR 增强现实进行了优化。这是苹果第一代自研GPU，苹果真正能把自己的GPU完善起来还需要1-2年时间。那时A系列GPU和CPU融合的会更加紧密，在性能和能耗上会有更大的突破。

       发展的关键时刻，上帝偏爱苹果。面临技术抉择时，苹果往往押宝成功。看似孤傲独行，重大战役到来时，总有友军出现。这些因素的综合，使苹果稳坐科技公司第一宝座。

5.2.4、Imagination Technologies

       Imagination Technologies前身是video logic公司。曾经的全球移动 GPU IP龙头，深耕GPU 内核研发和设计，曾是苹果御用图形技术提供商，总部位于英国。2018年被中资背景企业收购，未来发展不明。

       Imagination Technologies的核心产品是IMG A系列产品，被设计为可应用于各种场景的GPU，支持自动驾驶、AIoT、数字电视、机顶盒、移动设备等智能应用。

       IMG A系列在多个市场中授权客户，这点和ARM相像。首批搭载该IP的SoC器件在2020年供货。Imagination Technologies宣布，紫光已获得最新一代神经网络加速器（NNA）PowerVR Series3NX半导体IP授权许可，是面向中高端移动设备市场的系统级芯片。

       散热条件限制，大多数移动GPU很难提供持续一致的游戏体验，芯片发热其性能下降到不可接受的水平。IMG A系列则以一致的帧速提供持续可靠的性能以及更长游戏时间，避免了因芯片过热导致时钟降频甚至故障等过热情况，IMG A系列有一定的技术优势。

       IMG A系列采用Imagination的HyperLane技术，独立的硬件控制通道被隔离在内存中，将不同的任务同时提交给GPU，实现GPU多任务处理。

       通过AI Synergy，GPU在可以提供图形处理功能的同时，使用备用资源支持可编程AI以及固定功能，即高度优化的Imagination神经网络加速器。AI Synergy在最小的芯片面积中提供可编程的人工智能，统一的软件栈可实现灵活出色的性能。

       PowerVR曾经是苹果“御用”的GPU，性能表现强大、架构先进，不仅在iOS领域，在安卓领域使用也很广泛。当年的一代神U联发科MT6577就使用了大幅度超频的SGX531，性能是低端机里的翘楚。

       但是，因为较高的授权费用，PVR逐渐失去了安卓市场，客户纷纷转向更廉价的ARM Mali。虽然有联发科Helio X30等的支持，PVR仍然是强弩之末。再加上苹果的抛弃（苹果宣布自研GPU）和挖墙脚，等待Imagination的只有卖身的悲惨命运。

       GPU技术的选择，是很多芯片公司做强做大的基础。尤其是智能时代的带来，GPU的应用汹涌澎湃，风卷云涌。

5.2.5、Vivante

       Vivante(图芯)曾经是嵌入式图形处理器（GPU）的技术先行者。总部位于加州，为全球移动设备和家庭娱乐市场提供顶级应用，超级处理器解决方案。曾经拥有种类繁多的2D/3D图形处理器。

       用硅印模，为业界标准应用程序接口提供强大支持。图芯芯片技术将桌面质量图象和性能带入汽车、手掌中的屏幕。优秀可升级的嵌入式解决方案是可升级的，建立在业界标准之上，且优化功耗、性能和大小。

       图芯不断增长的产品系列，与全球多家公司成功合作。对移动视觉逼真和高清视觉逼真的核心技术，成为当年顶级移动端图形图像技术供应商。

       2016年01月08日，图芯被中国芯原收购，产品开始沉默。对OpenGL ES、OpenVG、DirectX的成功支持，是图芯前期成功的核心要素。

5.2.6、NVIDIA、AMD、Intel

       移动端图形技术的快速发展，加速了移动时代的到来。当年PC端显示技术的大佬们，变得孤单与寂寞，这能告诉我们什么呢？

       手机gpu不能单卖，需要可用的基带，NVIDIA并没有基带。在不需要基带的移动gpu上，NVIDIA做的很好，例如switch gpu。

       英伟达开发过手机芯片——Tegra系列，现在Tegra已经谢幕，当年使用Tegra芯片手机风行一时。

       英伟达在Tegra4及之前的GPU架构叫GeForce ULP，Tegra4号称“72核GPU”，但架构十分老旧，是DX9时代的分离渲染架构。Tegra因为基带芯片问题退出手机市场，后来推出了Tegra K1用上先进的Kepler架构，但是一切都太晚了。

       NVIDIA现在和可预见的将来都没有手机产品，这是NVIDIA不能接受的。期望有一天，在移动端显示芯片上，上演王者归来。AMD不仅缺少移动GPU，还几乎没有市场份额。Intel在补贴硬件厂商让它们使用Intel产品(造成了每年400亿美元的损失)。

       世界上影响力最大的两个GPU厂家，AMD和NVIDIA。两个微处理器的发明者Intel和德州仪器，几乎全都被苹果逐出了移动市场。现在市场中只有低端零件厂商、苹果高端、高销量的iOS设备竞争。这令人感叹，苹果跳出了时代的局限性，在桌面端和移动端成为最成功的企业，上帝太偏爱苹果了。

       当年Nvidia买了Icera，i500之后，折腾SoC，没有下文。15年宣告放弃，现在想用只能外挂基带。黄药师仰天长啸，移动端报国无门。

       外挂是可以的，DrivePX2上接GPU用PCIE 4x，然后GPU有自己显存，这个不是手机能接受的。如果用CCI，访问内存没有问题，但有其它局限性。Tegra X1后黄总就不用CCI互联了。​

       AMD、INTEL和英伟达道路相似，3D时代雄起，移动时代沉寂，智能时代奋起。每一家公司都有各自的领地。那些成功的跨界，成就了技术的艳遇。

       就工艺而言，相对于CPU，GPU技术难度低一些。这也是众多小厂开始向GPU迈进的原因。在移动时代，科技的发展创造机会，很多传统的CPU、GPU大厂由于固守轨道，错过了GPU发展的黄金时代。

5.3、移动图形库

       移动手机图形接口上，没有桌面端的万马奔腾、百舸争流，整体相对平稳与自然。无论Android还是IOS，都是Linux的内核。所以在移动图形库的选型与发展上，和桌面端图形库有一个很好的承接。OpenGL桌面端不可撼动的地位，移动端，OpenGL的简化版OpenGL ES应运而生。

5.3.1、OpenGL ES

       OpenGL ES 是 OpenGL三维图形 API 的子集，针对手机、PDA和游戏主机等嵌入式设备而设计。

       OpenGL ES 是 OpenGL 裁剪定制而来，去除了复杂图元等非绝对必要的特性。OpenGL ES 2.0 参照 OpenGL 2.0 规范定义。

       OpenGL ES 免授权并且跨平台，强大的2D和3D图形应用程序接口API，针对多种嵌入式系统专门设计，包括控制台、移动电话、手持设备、家电设备和汽车。由精心定义的桌面OpenGL子集组成，实现了软件与图形加速间灵活强大的底层交互接口。

5.3.1.1、OpenGL ES 版本与功能

       OpenGL ES包含浮点运算和顶点运算，及EGL便携设备的本地视窗系统规范。

       OpenGL ES 1.X 面向功能固定的硬件所设计，并提供加速支持、图形质量及性能标准，也就是固定管线编程。OpenGL ES 2.X 提供包括遮盖器技术在内的全可编程3D图形算法。OpenGL ES 3.x则在可编程管线上进行了增强。

       OpenGL ES提高了不同消费电子设备的3D图形渲染速度，在嵌入式系统上实现了全面可编程的3D图形。

       OpenGL ES工作组在六个月内更新OpenGL ES采纳者项目，提供兼容性测试，并提供相关源代码。目前 Corporation、Imagination、NVIDIA、高通、ZiiLABS等都表达了对OpenGL ES 3.0的大力支持。最新GPU就支持OpenGL ES 3.0。

5.3.1.2、OpenGL ES 3.0新功能

       1、渲染管线多重增强，实现先进视觉效果的加速，包括遮挡查询(Occlusion Query)、变缓反馈(Transform Feedback)、实例渲染(Instanced Rendering)、更多渲染目标支持。

       2、高质量ETC2/EAC纹理压缩格式成为一项标准功能，不同平台上不再需要不同的纹理集。

       3、新版GLSL ES 3.0着色语言，全面支持整数和32位浮点操作。

       4、纹理功能增强，支持浮点纹理、3D纹理、深度纹理、顶点纹理、NPOT纹理、R/RG单双通道纹理、不可变纹理、2D阵列纹理、无二次幂限制纹理、阴影对比、调配(swizzle)、LOD与mip level clamps、无缝立方体贴图、采样对象、纹理MSAA抗锯齿渲染器。

       5、更多精确尺寸纹理和渲染缓冲格式，便携移动应用更简单。

5.3.1.3、OpenGL ES 示例代码

public class MainActivity extends Activity {
       private final int CONTEXT_CLIENT_VERSION = 3;
       private GLSurfaceView mGLSurfaceView;

       @Override
       protected void onCreate(Bundle savedInstanceState) {
              super.onCreate(savedInstanceState);
              mGLSurfaceView = new GLSurfaceView(this);
              if (detectOpenGLES30()) {
              mGLSurfaceView.setEGLContextClientVersion(CONTEXT_CLIENT_VERSION);
                     mGLSurfaceView.setRenderer(new RendererJNI(this));
              } else {
                     Log.e("opengles30", "OpenGL ES 3.0 not supported on device.  Exiting...");
                     finish();
              }

              setContentView(mGLSurfaceView);
       }
      

       @Override
       protected void onResume() {
              super.onResume();
              mGLSurfaceView.onResume();
       }
      
       @Override
       protected void onPause() {
              super.onPause();
              mGLSurfaceView.onPause();
       }

       private boolean detectOpenGLES30() {
              ActivityManager am = (ActivityManager)getSystemService(Context.ACTIVITY_SERVICE);
              ConfigurationInfo info = am.getDeviceConfigurationInfo();        
              return (info.reqGlEsVersion >= 0x30000);
       }
}

5.3.2、其它

       Vulkan和Metal不仅是3D时代的图形框架，也是移动领域的核心图形图像框架。关于Metal和Vulkan的知识，参考前面主题。

5.4、启示

       梳理这段历史时，我们发现，信息科技的核心是芯片，芯片技术被国外巨头垄断。偶尔有中资公司的影子，大多昙花一现。芯片技术是百年大计，很难实现弯道超车。

       在计算科技白皮书里，大多是欧美科技的影子，东方公司比重较低。这注定了科技赶超是一个长期的过程。

       在软件规范制定上，面临同样的情况。未来几十年，在软件规范上，我们埋头苦干，奋勇向前。

       通讯核心技术上，依然有很大不足。但在市场应用上，我们拔得头筹。在移动商务、移动支付、短视频应用上，捷报频传。

       美摄科技坚持音视频核心技术研究，底层硬件技术研发。在技术接口，产业应用上乘风破浪，激流勇进。在祖国图形图像技术建设上，做出应有的贡献。

       缘聚缘散，时空变换。1978年之后，科技的春天再次到来了。从基础芯片，软件规范，到行业应用。我们流年笑掷，坚信未来可期。