虎牙直播在AI实时剪辑技术上的创新实践

 点击上方“LiveVideoStack”关注我们

▲扫描图中二维码或点击阅读原文▲

了解音视频技术大会更多信息

1

背景介绍

虎牙平台直播内容日益丰富，不少用户会对直播中的精彩镜头更加关注，如何让用户快速甚至实时地回顾到直播中的精彩镜头成了我们关注的问题。直接的人工剪辑需要耗费大量人力，我们希望通过设计算法来自动剪辑，将好看的精彩镜头实时呈现给观众，同时精彩镜头作为直播过程中沉淀下来的优质内容，也能够在后续不同的产品形态上发挥作用。

1.1 什么是AI实时剪辑 

所谓AI实时剪辑，主要是通过AI识别技术实时分析直播视频流内容，自动捕捉直播过程中的精彩高能看点，通过一定的剪辑规则，实时剪辑出精彩视频片段入库，通过建立直播到视频的自动化生产能力，达到实时沉淀直播平台高价值内容的目的。直播过程虽然可以产生大量的录像内容，但由于直播时间长，导致直播录像中冗余内容较多，精彩看点分布比较稀疏，不足以吸引眼球，相较于短视频存在较大劣势，无法直接产生沉淀或分发价值。AI实时剪辑相当于把直播过程中的精彩内容实时沉淀为看点稠密的短视频内容，提升存量内容的价值。

图1 直播内容实时沉淀

1.2 有哪些应用场景

剪辑片段作为平台沉淀下来的优质内容，可以直接分发推荐或者二次加工，以不同的产品形态，助力内容生产。

1）直播间推荐。实时看点内容，可满足用户实时回顾精彩看点的需求，提升用户的观看体验。如图2所示，在王者荣耀主播直播间，实时推荐主播在直播过程中展示的精彩操作或游戏内容片段，用户可以选择性地在直播间切换直播和精彩点播内容，加强了用户在直播间的内容互动。这些精彩看点的实时呈现，从平台内容生态来说，在某种程度上是对直播内容的补充，同时精彩看点产量也是对主播输出的一种隐式激励，激励主播持续产出高质量的直播内容，形成良性循环。