视频技术进入大众视角,大致已有二十多年,更多用户不仅对本地播放习以为常,也越来越多地使用互联网观看视频,占据用户时间的视频服务,其种类也愈发多样,从点播、电视直播到网络直播、短视频,形式和技术相互促进、不断发展。
以往视频技术给人的印象是变化缓慢,每五到八年,才有新一代编解码器被提出并纳入考量,在类似的时间跨度中,虽然新的流媒体协议得到广泛使用,但旧协议仍将存在,转码和流媒体分发的链路几乎是固定的,仅有少部分环节自行定义开发。唯一眼见的趋势,似乎是通过开源项目和技术方案提供商的支持,为初创公司建立音视频体系变得更加容易。
但另一方面,“更好”永远是“好”的对手,为了提供优于竞争对手的用户体验,实际上,当前的视频技术前所未有地复杂,变化迅捷。
其一,视频技术提供的功能比以往更为丰富。
以长视频服务为例,近年来我们看到了一系列的新功能,譬如支持更高的分辨率,4K、8K、16K,更高的帧速率,48fps、60fps、120fps,新的内容格式,HDR、Dolby Atmos,涉及全新类型的设备,VR、AR头显。从技术角度看,上述功能将引入多达数倍乃至数十倍的编码任务,而工作流也远比以往复杂,需要更多的模块和更多样的顺序结构。
(HDR,图片来自Youtube Blog)
当前完整的功能列表中,还可能包括描述式音频(Descriptive Audio)、自动翻译字幕、镜头搜索、智能海报等内容。在播放链路中,分析能力是传统解决方案中所没有的维度。由于视频往往是娱乐公司最有价值的资产,深度学习技术以其在计算机视觉领域的有效性,使用它们从视频中提取从低级到高级不同水平的元数据,能够有助于在转码、流媒体分发上实现深度地优化,同时也能更为有效地支撑衍生的推荐、搜索和广告服务。
故而,在视频处理的领域中,现代化的处理方式将需要考虑设计一个分层、灵活、高吞吐量、低延迟的基础架构,以实现与过往完全不同的工作流。
参考1: