随着5G落地,用户对视频体验的要求越来越高。在带宽不是超高清的主要矛盾之后,超高清还存在哪些挑战?我们距离全面超高清还有多远?阿里文娱一直在相关的技术预研,在2019年底,推出了互联网视频行业超高清解决方案——帧享。那么,帧享是什么、有哪些关键技术、未来有哪些发展方向?
且看阿里文娱高级算法专家张行在GMIC Live 2020 智慧文娱技术专场中的相关分享。
作者 | 阿里文娱高级算法专家 张行
责编 | 屠敏
帧享是什么?
帧享是一个超高清的解决方案,从2B到2C的视角,帧享有4个技术能力:
一是高帧率增强,可提供最高120帧的超高帧率视频,顺滑的呈现物体运动场景;
二是超高分辨率,对于画面中微小的细节与结构,在帧享的视频中也能刻画的非常清楚;
三是HDR高动态渲染,画面对比更丰富,颜色鲜活有质感;
四是帧享环绕音效,我们利用声道间的相位差异,充分体现声音的立体感和空间感。
前三个方向的特性分别体现了帧享对于时间、空间、亮度、色度的超高分辨与呈现能力;第四点是声音特性,声场效果,这四点组合起来,既是帧享能给用户提供的关键体验特性,也涵盖了观众对于超高清的诉求。
要真正将帧享落地,需要深入到视频制播产业的各个环节中,从左到右有5个关键词:拍摄、制作、生产、传输和呈现,这5个环节环环相扣,每一步都决定了最终视频的呈现质量。我们首先要保证每一步都能够正确地处理,尽可能采集和保留更多内容信息;其次是挖掘链路上各环节的处理能力,利用我们在制作、生产和呈现上的人力和算力,进行信息的重建和增强,提升视频体验。
具体来讲,在拍摄和制作环节,我们会给出明确的超高清视频的要求规范;在制作环节,开放云剪辑能力,为后期的剪辑提质提效;在介质环节,做严格品控,保证介质内容的基础质量。在生产环节,减少转码的损失,利用我们平台的计算能力进行恢复和重置增强,同时对视频进行结构化分析,拿到视频的各种分类、场景、标签等高低层的语义信息,将其与码流一起传输到终端设备上,并进行适配的后处理增强和渲染。这种适配包括对内容、设备和用户偏好的适配等,确保最终的体验和效果。