深度学习在视频分析中的架构、算法及应用

直播与短视频业务的兴起，代表了一种内容交互方式的变化，更加追求强交互，这种变化催化了很多技术和架构的转型，由传统的传输、存储优先演进为计算与智能。本文是由360人工智能研究院视频大数据组技术负责人陈强在LiveVideoStackCon 2017上的演讲整理而成，分享了深度学习在视频业务中的一些实践案例，并由点及面介绍了相应的实现架构、算法与应用。

演讲 / 陈强

整理 / LiveVideoStack

首先进行下自我介绍，我是360人工智能研究院的陈强，我的工作更偏向于AI方向，从趋势上来看AI的落地会跟音视频紧密结合，本次的分享将在两者的交叉点，以及基础技术、产品的应用等方面，跟大家进行交流，希望能和大家相互交流，碰撞出火花。

一、前言

今天主要分享的主题是深度学习在视频分析中的应用与基础算法，先来介绍一下为什么要做这个方向。首先从目前360的主要业务方向来说：

• 第一点众所周知是安全，360从08、09年就开始用机器学习、人工智能的方法去做网络安全。最近几年开始做Safety的一些问题，即将线上安全转移到线下安全。线下安全很多都涉及到摄像头，比如在摄像头（监控）中遇到的异常事件和行为：家中老人跌倒、商店里进来了陌生人或小偷，这些需要用AI的方法实时对视频内容进行分析等等。

• 第二点是为了360内容服务业务，包括搜索、广告等一些传统的互联网产业的产品。这两年比较火的直播业务种，比如花椒直播，也使用了很多视频分析的技术。在2017年，360的重点内容方向也转为了短视频产品——从生产到分发的整个产业链的内容。这其中也涉及到了很多音视频的内容分析。做短视频的分析，实际上是要知道该视频本身在讲什么事情——一个社会类新闻或者场景化的直播类小视频，需要可以推荐给合适的人。这也是AI在音视频在内容分析的应用场景。

目前360人工智能研究院基于这两个方面跟各个业务线的合作非常紧密，研究院更多承担是技术上的支持。而我所在的是360人工智能研究院下面的视频大数据组，主要负责两块内容：

• 一是结合IOT和短视频等业务线场景做视频内容的分析，将场景分析、人脸人形检测等技术结合实际的业务场景来解决产品需求。

• 二是大数据技术，我们主要是利用深度学习技术来结合业务部门的实际数据进行有效建模和优化，以提升业务指标为目的。过去两年，主要精力放在了搜索的排序、广告的CTR预估，而现在更多是在做短视频的推荐等关键技术问题上。

今天的分享主要围绕视频分析来展开。我们视频分析以及大数据系统整个技术栈都依赖于深度学习这种比较新的方法，这样不会有太多的历史包袱。而过去两年中，我们花了很大精力在公司做了一个跨部门、跨平台的深度学习平台，包括从文本分析、到音频分析、到视频分析将之合并为360NET。另外我们在公司层面做了大规模的GPU集群，以及和公司的系统部合作开发了一个系统调度平台。

二、视频分析

 视频内容分析是要对视频内容有一个比较完整的理解，它是通过摄像头或者通过视频，要站在机器的角度去看而不是以人的身份区理解和分析视频内容。我们主要的业务落地场景可大致区分为云端和移动端两种模式。云端对计算的复杂度要求相对没有那么严苛，更多的是系统latency问题。而移动端的任务往往技术难度更大。因为在移动端我们面临着有限的计算资源，对算法和系统结构提出的要求会更严苛。从数据角度来首，我们会根据数据将业务场景拆分成几个核心的技术问题：检测、识别、分割以及跟踪，针对这些问题以持续去做优化。

1.核心问题