计算机图形学是支持各种影视特效、三维动画影片、计算机游戏、虚拟现实以及大家手机上各种照片视频美化特效背后的技术基础,在本文中,微软亚洲研究院网络图形组深入解释了图形学的现状、发展和未来。
谈及“计算机图形学”,可能很多人会觉得很有距离感,或者和计算机视觉、图像处理等学科混淆。但是,如果告诉大家图形学技术是支持各种影视特效、三维动画影片、计算机游戏、虚拟现实以及大家手机上各种照片视频美化特效背后的技术基础,相信大家都不会再觉得陌生。
在计算机诞生后,如何在计算机中有效地表达、处理以及显示三维信息,很快变成了计算机应用研究中的一个重要问题。针对这一需求,计算机图形学在二十世纪六十年代应运而生。在过去的几十年中,计算机图形学得到了长足的发展,并深深地影响了很多产业的发展和人们的生活、工作和娱乐方式。
在硬件上,图形学的发展催生了专用图形处理器GPU(graphics processing unit)的产生与普及。在软件上,图形学的基本绘制流水线已成为操作系统的一部分,为各种计算机平台提供显示和图形处理。应用上,图形学催生了影视特效、三维动画影片、数据可视化、计算机游戏、虚拟现实、计算机辅助设计和制造等一系列产业,并为这些产业的发展提供了核心技术和算法支持。
作为一个计算机应用学科,计算机图形学的内涵和外延在过去几十年里也在不断地演进和扩展。如果我们回顾计算机图形学年会ACM SIGGRAPH上过去十几年发表的论文,一方面会惊叹其中纷杂精彩的研究题目和每篇文章作者的奇思妙想,另一方面也难免感到有些迷失,似乎图形学仅仅是在不断追求新奇和炫目的视觉效果。这是在一个快速发展的应用学科中很多刚入门的学者都会有的困惑。
图形学研究的核心是什么?推动图形学发展的动力是什么?未来,随着计算机图形学的进一步发展,哪些应用场景将呼之欲出?伴随着这些新的应用场景、需求的出现,我们面临的技术挑战又是怎样的?在这篇文章中,我们试着对图形学的现状、发展和未来做一些思考,并尝试一一回答这些问题。
计算机图形学研究与应用现状
图形学的核心科学问题是在计算机中有效的表达和处理三维世界的各种属性。图形学所处理的三维信息既包括物理真实世界中的三维信息,也包含我们人类大脑通过想象产生的虚拟的三维信息。计算机图形作为一个中介,提供了这两个世界在计算机中的一个共同的表达和信息交流渠道。
在计算机图形学诞生之前,物理学家和数学家已经对真实三维世界进行了长期的研究,把我们观察到的世界有效的解构为核心的一些物理量和他们之间相互作用的规律。如图1所示,传统的图形学受物理学和数学启发,将三维对象分解为几何、表观、行为或者动态三种属性。其中几何描述三维对象的几何形状;表观描述三维对象的材料光照属性以及材料如何和光相互作用;行为则表达了一个三维对象的动态特性从而决定了对象的运动和其他物体的交互行为。
在这个基础上,针对不同对象特性和应用要求的不同,图形学研究中具体的三维对象又可以大致分为物体、人(包括类人的角色character)以及环境三部分。
针对这些三维对象的不同三维信息(几何、表观、行为),我们把图形学的研究方向和技术也可以大致分为三个大类:
一是获取和建模。主要研究如何有效地构建、编辑、处理不同的三维信息在计算机中的表达,以及如何从真实世界中有效地获取相应的三维信息。这既包括三维几何建模和几何处理这一研究方向,也包含材质和光照建模、人体建模、动作捕捉这些研究课题。
二是理解和认知。主要研究如何识别、分析并抽取三维信息中对应的语义和结构信息。这个方向有很多图形学和计算机视觉共同感兴趣的研究课题,如三维物体识别、检索、场景识别、分割以及人体姿态识别跟踪、人脸表情识别跟踪等。
三是模拟和交互。主要研究如何处理和模拟不同三维对象之间的相互作用和交互过程。这既包