实录｜三星Gear VR核心技术介绍

在3月31日举办的Cocos 2016春季开发者大会上，三星电子中国研究院首席研究员熊君君博士带来了《三星Gear VR核心技术的介绍》的精彩分享，下面是演讲实录。

熊君君

熊君君：各位嘉宾下午好，我是来自北京三星通业研究院的熊君君，我们公司是2000年成立,是三星电子在中国投资成立的有独立法人资格的研发机构，现有员工800人左右。

说到VR可能会有不同的定义，我们先简单的介绍虚拟现实，我们说虚拟现实有几个关健词，其中的关健词就是它是三维的，是由计算机产生的虚拟环境，人可以与虚拟的环境进行交互，交互的时候我们希望产生身临其境的体验，这样的一种体验就是虚拟现实。

我们都知道有三种形式，前面介绍过了，一种是PC形式，是头戴虚拟的设备，有一根电线连到PC上，PC将渲染的图片传到这个上面进行显示，这个设备有不方便的地方就是行走不方便。

另外一种形式就是三星VR的形式，是头戴无线的立体显示的，需要外接我们三星自己的手机，同时需要外接传感器，游戏的手柄或者其他的传感器进行交互，同时屏幕分辨率能够达到2K左右。大家可能都会有一些疑问，VR设备是否会带来头晕。刚才我们同事还在聊，我们是不是能把眩晕感彻底的解决掉了，有些公司可能不会谈，但其实这是一个没有完全解决掉的问题，不管是国内国际的厂商 。三星做了很多的工作，这个问题解决的比较好的，但是没有完全解决。眩晕感不完全是硬件的问题，它和内容相互配合的，比如前面讲到了，坐过山车的时候即使有些正常的人不佩戴眼镜也会有头晕，所以我们说对这样的运动量比较大的，我们需要在内容做一些特殊的处理。大家提的比较多就是沉浸感和清晰度的问题，也就是分辨率的问题，这几年旗舰手机的分辨率达到2K，对于VR来说能够达到4K就会有比较好的体验，但是现在手机一般也就达到2K。达到4K不是技术问题，因为4K已经可以达到了，但是我们是用头戴式的，4K的功耗是非常大的。

第三点大家谈的比较多，可能就是刷新频率的问题，刚才大朋也讲了，他们达到19.30毫秒，现在的手机可以达到60赫兹20毫秒左右，要有一个好的体验我们希望达到120赫兹，120赫兹刷新的时候对硬件也是有很高的要求的，但是那不完全是硬件的问题，可以通过软件优化，三星在这方面做了大量工作，下面我们会详细介绍。

大家都知道我们公司上个月在巴塞罗那发布了旗舰产品，这是一个非常盛大的发布会，刚才大朋引用了我们的图片，我们当时有五千多个人一块用VR设备现场直播，大家沉浸在里面的时候Facebook的扎克伯格已经走上台了，这个发布会对VR的火爆也是锦上添花。我们可以看到这个发布会人气爆满的，市场反应非常高，当然S7不仅仅是靠VR，因为我们S7整体反应非常好，销量在中国也是非常好。

在S7发布前，可能大家关心的是我们S7的相机，因为它是世界上第一家把单反相机镜头用到手机上，当然其他的方面相比方防水电池也是用户关注的，但发布会后，Gear VR是用户最关注的。

我们简单的看一下这样一个VR流程图，我们知道它是用到了圆形凸镜，它会带来一些成像的形变，会有色差问题，图象会有一些彩色的边缘。对于这个形变，本来是正常的图片，我们经过了中间的透镜的变化，我们看到的是一个变形以后的。要获得没有形变的，我们需要先对图像添加反向的形变。

这页我们讲到的是色差的校准，因为可见光是不同波长的光组成的，这些光经过透镜的时候折射率不一样，物体的边缘我们可以看到彩色的边缘现象。色差校正工作是在GPU完成的，但是因为现在的GPU大家知道有不同的型号，有高通的也有AMD的，所以三星做了很好的封装，我们提供了GPU的工具，大家不用关心GPU底层的问题。还有屏幕刷新，大家都会讲到Frontbuffer 的技术，当我们的头转动的时候，根据头部姿态的数据要重新绘制我们的画面，画面的生成是在CPU完成，但画面的渲染和显示是GPU来完成。

我们单一的图象怎么样把它分成两个图片而且有一些视差，这样的图片在视网膜形成立体的，这也是通过三星的SDK进行封装。这页讲的是筒形形变的，如果我们想看到的是一个没有形变的，左边的这一部分是真实的数据，我们先要对真实的数据加一个形变，经过凸镜以后渲染出来的就是比较真实的图片。

减少延迟，我们采用了Front Buffer的技术，我们可以看到最下面的比较传统的方式，这样的方式是比较传统的渲染方式，我们有两个或者三个Buffer，CPU产生的数据按照时间轮流往这个里面发送数据，A满了发到B，B满了发到C。GPU按照C,A,B这样的方式从Buffer 获取数据。这种方式我们会有一个什么样的问题，就是我们要不停的切换Buffer的地址，会有三次的切换。我们现在想到一个Front buffer 的方法，当CPU的Buffer满了以后会有同步的信号告诉GPU，GPU把数据取走，实际上我们只有一次的切换时间。这是一种软件优化的方法，但三星基于自己的芯片又做了很多的优化，所以把延迟时间降低了很多。但是我们发现其他的厂商用了三星的芯片，大家发布会的时候，这个技术都会被提到。

我们通过采用时间扭曲来减少闪烁，当我们头部姿态转动的很快的时候，我们获取姿态数据的是每隔两个毫秒，我们渲染的时间需要花8.3毫秒，我们把这个图象绘制出来的时候，头部姿态已经转到了其他的方向去了，这个时候把渲染的数据直接显示到屏幕上，我们就会有闪烁现象。在这种情况下我们绘好了这个图象，我们再获取一个当时的姿态数据，根据头部姿态变化对数据做小的校正，这并不需要花太多的校正时间，我们就把这个画面做的比较流畅。当然这种技术也是对于我们自己的芯片做了很多的优化，我们也是封装成了SDK，游戏厂商和我们合作没有必要去做复杂的开发，是一个非常简单的开发方式。

实际上我们跟Oculus是比较紧密的合作关系，为游戏开发提供了很多的插件。同时三星的S7手机大家也知道，它为游戏做了很多改进工作，其中有一项就是三星手机支持最新一代的图形标准，翻译成中文名字是叫火山，这样的标准以前一直是用在PC上面或者专业的游戏机上面的，三星也是第一次将其用到手机上面，同时为了节省功耗，三星的手机可以根据画面内容设计不同的刷新频率，以节省功耗。我们也跟游戏厂商进行很多合作，下面的两个游戏大家都比较熟悉，是国外的游戏，中国也有很多用户。 现在比较好的方式就是头戴式的手机的方式，这是一种大众可以接受的。刚才大朋也说了，手机用户是有13亿，只要一部分转化，用户量就是非常大的，这是面向大众的市场。其实我们相信还有一部分游戏的发烧友，他们对于CPU/GPU，对于用户的体验是有自己特别的要求，为了满足这部分用户的要求，我们在做一体机。其实我们的一体机是为发烧友做的。因为大家可能都知道因为三星是一个半导体方面很牛的公司，所以我们实际上很自信的说，我们能把VR的硬件做到顶级。同时我们也有一个游戏开发者论坛，大家有什么问题可以在网上提问，我们可以很快反馈。

其实三星是一家韩企公司，因为有一些限制我们的设备没有进入中国，我们也看到中国本土VR的厂商是非常火，尤其是今年VR厂商我们感觉拿风投可以非常轻松，所以我们非常愿意跟大家一同推动VR产业发展，为VR生态建设贡献我们的力量，在VR的生态里面游戏产业会占到很高一部分，会占到70%或者50%，我们也希望三星VR设备能为游戏厂商带来广阔的天空。现在是VR开始启动的阶段，大家之间还没有到竞争阶段，现在还是一片蓝海，所以今天在这样的阶段我们非常愿意把我们最新的技术，最好的硬件奉献给大家，为用户提高体验，作出我们的贡献。我们也坚信VR的市场培育发展，不是廉价，低体验的硬件能够带动起来的。 我刚才跟同事聊到有些VR设备给孩子看三分钟以后就头昏眼花了，我觉得这种体验很差的VR硬件，会给用户带来很不好的影响。当我们有好的东西发布的时候，他们第一感受就是戴上会不会头晕。所以三星在考虑进入中国市场的时候也想了很多，我们也希望有一些非常优质的游戏厂商来提供非常高质量的内容，这样的内容能给用户带来沉浸感的体验。

就这么多，谢谢大家。

大会嘉宾PPT下载链接：

http://pan.baidu.com/s/1kVs6run 密码: sia8

（不断更新中，敬请期待！）