腾讯广告的多媒体AI技术实战

01 引言

网络广告是腾讯公司重要的商业模式之一，在广告收入持续提高的同时，对广告基础技术也提出了新的要求。面对复杂的广告商业生态，保障广告安全、完善广告形态、提升用户体验、提高广告收入，成为所有腾讯广告人必须要思考的问题。

一条完整的广告链路包含的模块非常多，通常会有投放、定向、检索、粗排、精排、播放等等，每一个模块对于多媒体AI技术都有不同的需求。在此背景下，团队系统性地研发了广告多媒体AI技术平台，为整个广告链路提供完善的、精准的、高效的广告多媒体AI技术。当前，该平台已经成为腾讯广告的基础AI建设，有力保障了腾讯广告的持续稳健发展。

本文将系统介绍腾讯广告多媒体AI技术的实际应用，涵盖智能广告创作、精细广告理解、相似广告检索、智能广告审核等。

02 智能广告创作

2.1 业务背景

视频广告数量增长趋势明显，引发对视频创作诉求的激增。针对广告投放门槛高，视频制作成本大，视频跑量周期短等实际业务问题，腾讯广告多媒体AI中心打造出智能创作引擎，助力视频产能提升，解决行业客户痛点，推动腾讯广告视频化进程。

2.2 智能创作引擎

经过多年技术沉淀，腾讯广告智能创作引擎实现多项自动化视频创作能力，支撑多达10+项产品形态，日均生产十万级别视频广告。引擎持续打磨智能生成、渲染合成、质量控制、元素库四方面能力。

智能生成：包含多达几十项基础算法能力，涉及多模态视频标签、视频时序解析、视频封面图生成等原子算法能力。

渲染合成：依赖CPU和GPU双集群渲染，支持前端实时预览及批量化生成。具备模板视频工程化设计、特效定制支持、 稳定分布式高性能渲染等能力。

质量控制：系统规则、AI算法、人工运营有机结合，全链路保障视频质量。

元素库：积累视频元素数万个，包含视频模板、音乐、特效、贴纸、节日元素等。

[图1] 创作引擎能力矩阵

2.3 典型技术解析

视频尺寸变换，降低投放门槛

针对腾讯广告流量特性，我们基于视频人像分割提取人物，视频OCR/ASR提取字幕，构建出一键视频智能拓展能力，实现3分钟自动化视频多规格拓展。此外，我们也实现了分镜联播、百叶窗、利益点填充等多达16种视频转尺寸方案，支持全规格互转。

[图2] 视频尺寸变换示例

图片衍生视频，提升制作能力

针对单图片生成视频场景，我们基于单目深度预估，图像填充等能力建设了单图3D微动能力，让图里的元素“动起来”，提升广告投放效果。此外，我们也实现了多图音乐卡点混剪，针对节假日匹配节日模板等方案，建设批量化视频生成能力。

[图3] 图片衍生视频示例

视频派生视频，延长跑量周期

我们创新提出视频广告时序解析算法，结构化视频广告叙事框架，并识别每个视频片段四个维度的标签，将视频广告理解能力从整体粒度升维至时序粒度。实现镜头混剪，视频时长变换，视频强化，跑量素材混剪等多种能力。视频生成视频效率得到指数级提升。

[图4] 视频派生视频示例

03 精细广告理解

3.1 业务背景

计算广告的本质在于以合理的价格，将合适的广告推给适合的人。因此对广告的内容理解至关重要，内容理解越精细，推荐才能越精准。同时随着视频广告/多媒体广告的日益增多，对广告内容理解技术也提出了更高的要求。

3.2 系统架构

结合广告的内容特点，我们逐步构建了一套广告精细化语义理解系统，从底层的数据到上层的各种语义理解算法能力，最终支撑服务于广告推荐、广告创意、广告审核等业务。具体来说，因为广告的本质是在推广or售卖一种物品，所以我们的系统主要从以下几个层面对广告进行精细化理解：

（1）广告商品理解：通过分行业的商品体系建设&理解，理解广告在卖什么；

（2）创意素材理解：通过对创意素材内容的多维度解析，理解广告怎么卖的。

[图5] 广告语义理解系统

3.3 技术解析

3.3.1 广告商品理解

广告商品理解本质上描述广告所售卖的核心商品信息。在商品理解中，通常需要考虑2个问题：1. 体系如何构建并持续完善：不同行业对商品的定义是不同的，如电商行业主要通过类目、产品、品牌、属性等标签去描述广告商品，教育行业主要通过类目、阶段、课程、集团等标签去描述广告商品，同时这些标签体系也不是一成不变的。因此如何构建并持续维护一个商品标签知识图谱体系对商品理解至关重要。2. 算法如何高效迭代：由于全行业的商品标签体系非常庞大