当全景视频遇到快手

收到

山巅之处，正午的阳光透过翻滚的云海铺洒在岩石壁上，镶嵌在天边连绵起伏的山峦若隐若现，雄伟壮观。俯瞰去，脚下是天梯般陡峭的山崖，连接着山中绿洲。纵身一跃，映入眼帘的是逐渐清晰的林海，那些拔地而起的树木紧密相连，铸成一座郁郁葱葱的“绿色长城”。

这仙境一般的景色来自于一位翼装飞行爱好者的独特视角。从山巅俯冲，一路罕见的风景被他记录了下来，并通过快手全景视频向用户们分享了飞行时360度的视角。

惊险翼装飞行

除了翼装飞行，用户在快手上还能看到花样滑雪、高空跳伞、潜水等极限运动的全景视频。创作者们在探险时记录下了身边360度的景致，这些视角也许是许多人一生都无法看到的。但是，自从快手在2020年6月陆续上线了全景视频和全景直播后，用户们就可以沉浸式地体验到这些真实却不可及的画面。

目前，全景视频及全景直播在快手已经经历了长时间的打磨和体验优化。今天我们就来了解一下，那些你可能还不知道的全景视频理念和架构技术。

一、全景视频的前世今生

全景（panorama）来源于希腊语，它的意思是“都能看见”。从广义上来讲，360度全景是基于图像处理的虚拟漫游，也叫虚拟现实全景。

通过全方位相机的拍摄后，在播放时将画面360度拼接在一起，观众可以通过转动手机或手势控制随意调节视频视角。与普通视频不同的是，全景视频多视角的画面展示可以让观众们感觉自己成为了画面中的一部分，并且全景视频还给予了他们一定的主动权去调节视角；而普通视频只能让观众们作为局外人以特定角度观看。所以，全景视频为大家提供了更丰富的视觉体验，具有一定的互动性和趣味性。

虽然快手在2020年才将全景视频实现可场景化落地，但全景视频并非是一项全新的技术。早在2015年，Facebook和Youtube就已经上线了全景视频，引发了广泛关注。2016年，许多大型新闻机构包括《纽约时报》、《卫报》、《NBC新闻》、《BBC》等，也开始利用360度全景视频来报道特定的新闻事件。

在中国，2016年被称作VR元年，全景视频作为VR的一种表现形式，也开始逐渐被国内市场所熟知。在2016年的VR行业盛世中，仅仅国内就诞生了超过3000家创业团队，随后“眼见他起高楼，眼见他宴宾客，眼见他楼塌了”。在短短5年时间里，VR因为佩戴头盔不舒适、设备昂贵等问题逐渐跌入低谷。

直到2020年3月，快手又一次洞察到用户对于全景视频/全景直播的强烈诉求：

 

二、全景视频在快手的凤凰涅槃 

全景视频目前在快手的状态是怎样的？让我们先来看一组数据。

上面提到的“惊险翼装飞行员”被称为快手全景视频的鼻祖，它也是快手第一支爆款全景视频。该视频在2020年11月5日播放量突然暴涨，从当天17时的5k播放量上涨到了21时的112w播放量。在接下来短短十天，该视频累积播放量达1700w；对应账号累计粉丝数从2w多激增至50w左右。

 

 

爆款全景视频归因分析：

首先，团队从Reco的召回渠道进行播放量分析，可以确认的是：这个视频的召回源中没有任何粉条和人工干预的成分。

其次，在对播放量、关注数及转发数的相关分析中发现，播放量暴涨的时间点是17点，开始有小V（粉丝大于500w）转发和关注的时间点也是在17点。所以团队推测可能是小V的关注及转发行为影响了Reco内的策略。

总体分析：

• 出现了爆款视频后，该账号的QoE（Quality of Experience）收益和互动收益非常明显；

• 爆款视频带动了同账号其他视频的热度，大于100w播放量的视频占比从9.5%提高到17.9%，且该账号有6个视频的播放量在500w以上；

• 比起普通视频，全景视频在互动和话题度上更占优势。

除此之外，我们还对账号的QoE和互动收益的提升了做了总结：

1. “Insta360”在发布“惊险翼装飞行”视频后的QoE收益（2020.11.5前后7日均值）：

   

    

2. “Insta360”在发布“惊险翼装飞行”视频后互动收益（2020.11.5前后7日均值）：

   

三、快手老铁知乎“666” 

除了数据的激增，我们还搜集了用户对全景视频的评论反馈。看完全景视频，快手的老铁们已经激动地把“666”打在了评论里。

四、全景视频背后的技术

快手音视频技术团队把全景视频在快手的实现分为两个步骤：

第一步：球体模型的建立

基于全景视频inside-out的基本原理，建立球体模型。简单来说，就是以用户为中心点，可以动态地观看到周围360度的视角。所以，以用户目光所及的直线距离为半径，把360度所能看到的区域，整体抽象成一个球体。我们在全景视频里看到的所有画面都是分布在这个球体表面的。

球体模型的建立依靠于球坐标系。球坐标系(Spherical coordinate system)是一种利用球坐标表示一个点 p 在三维空间位置的三维正交坐标系。如下图：

 

假设P(x, y, z)为球面上一点，则点P可用三个数(r，θ，φ)来确定，其中r为原点O与点P间的距离；θ为有向线段OP与z轴正向的夹角；φ为从正z轴来看自x轴按逆时针方向转到OM所转过的角，这里M为点P在xOy面上的投影。这样的三个数(r，θ，φ)叫做点P的球面坐标，显然，这里r，θ，φ的变化范围为r∈[0,+∞)，θ∈[0, π]， φ∈[0,2π] 。通过三角函数我们能计算出P(x, y, z)的坐标: 

x=rsinθcosφ; y=rsinθsinφ; z=rcosθ

经过以上计算，我们已经得到了球面坐标。进而，我们可以将球体分解为从上至下n个同心圆半径从(0~r~0)，依次计算每一个同心圆的坐标就可以得到球体顶点和纹理的坐标。

因为球体坐标系和手机坐标系不一致，所以为了把球体表面上的内容在手机中顺利播放，在计算(x,y,z)坐标的时候就需要转换为手机坐标系(-y,-z,x)。

第二步：投影渲染

建立好球体模型后，下一步要对球体模型的表面进行投影渲染。简单来说，就是把用户录制的画面投影到球体表面，就可以播放出全景视频。

想要了解如何实现全景视频的播放，首先需要理解两个概念：投影矩阵和坐标系。

投影矩阵在实现最终播放上起到了两个作用: 裁剪视角Clipping和生成NDC。下文会讲述如何根据6个参数(left, right, bottom, top, near和far值)来构建投影矩阵。

我们所能看见的画面都是经过裁剪的视图范围，通过上图可以了解到，不是所有被拍摄到的画面都是可以被用户看到的。只有投影落在视图范围内的画面才能被显示到屏幕上，其他区域都会被裁剪掉。如上图，矩形部分就是可视区域，而三角形的上下两端则会被裁减掉，即用户看不到矩形之外的画面。

所以，需要先计算出用户可见的视图范围，才能准确地把可以被看到的画面渲染到球体表面。下左图的视锥体范围就是上述提到的可视范围。下一步，我们要得到视锥体中，视角3D坐标（x，y，z轴）的范围。通过把视锥体投影到NDC空间坐标中，就可以得出坐标范围均为（-1，1)（如下右图）。

在OpenGL中，把这个3D坐标范围投影到近平面上，就可以得到6个参数对应的坐标，再结合球体顶点坐标和纹理坐标进行渲染。

下面两张图解释了3D坐标(xe, ye, ze) 是如何被投影成近裁剪面上的点(xp，yp, zp)。

 在渲染开始之前，需要先了解几个方位坐标的含义：

• 物体坐标系: 以物体的某一个点为原点来建立的三维坐标系，所以每个物体都有自己特定的坐标系，不同物体坐标系相互独立。

• 世界坐标系：由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。

• 眼坐标系或相机坐标系: 以摄像机光心为原点，z轴与光轴重合也就是z轴指向相机的前方。

• 裁剪坐标系: 在相机坐标中不是所有的顶点的都能落入到一个特定范围，没有在这个范围的点就会被裁剪，在范围内的坐标就将变成屏幕可见的片段。

  对这些坐标有了解之后，就可以通过以下流程实现最终渲染。

渲染成功后，再通过手势（手动调节）或陀螺仪（转动手机）的调整，用户们就可以完整观看全景视频了。

五、全景视频的用武之地

在技术驱动内容的今天，新的技术会催生出创作者更多新颖的创意，带来全新的内容。就像快手的Slogan强调的：看见每一种生活。我们希望，全景视频的出现，更多样化的生活方式，可以在快手得到分享，收获关注和喜欢。

快手也曾将全景视频的技术落地在实际活动中，在疫情期间，快手依托自身的技术优势，推出独家“全景VR+多链路”直播，在故宫博物院宣教部官方快手账号“我要去故宫”开启“多彩的故宫，秋日的唯美”主题专场全景直播。用户转动手机就可以360度观赏故宫秋色。

“全景VR直播真牛，就像站在故宫里一样，

都能看到头顶的银杏叶”

“快手技术真是厉害，这种直播应该多做做”

......

时长90分钟的直播吸引了超千万网友的观看，点赞数超200万。全景视频的出现让大家足不出户就可以学习、了解故宫历史，同时还弘扬了优秀的中华传统文化。

除此之外，今年4月，在清华大学110周年校庆活动中，快手被授权为活动传播媒体之一，推出多链路全景直播，将清华校园“搬”到了线上，并完成此次校庆日特别节目15小时不间断直播，形成以“清华大学”为主账号，链接“快手正能量”、“快手见政”、“快手人间”的四链路全景直播，进行移动VR游园直播。

当天直播间累计观看人数超过452.1万，点赞数超过85.5万。在校学生、全球校友和校外人士都全方位体验到了清华大学的风华，同时表达对这所老牌名校的美好祝福。

六、全景视频的未来发展

“我特别相信，得生产者得天下。我们应该更加坚定地站在用户这边，站在生产者这边。毕竟平台不生成内容，生产者是整个内容行业的根基所在。我们要跟生产者站在一起，就需要公域跟私域相结合。”  —— 快手创始人：程一笑

快手音视频技术团队在未来将持续引入全景视频生产者，挖掘并维护优质账号，鼓励更多优秀作品的产出。

同时，希望越来越多的全景摄像头厂商、VR内容制作商、VR爱好者、游戏制作公司、新闻网和政府账号等入驻快手。在技术方面，快手音视频技术会针对清晰度、自由视角、降低创作门槛等方面做持续攻坚。