新浪微博：大规模离线视频处理系统的架构设计

微博视频平台在4亿月活用户吃瓜嗨聊的高并发、大流量背景下，既要保证用户微博生产和消费体验，又要支持业务快速迭代，确保正确性、稳定性和高可用性。 本次演将以微博视频大规模视频离线处理系统的架构设计为主题为大家带来大规模分布式系统的架构设计，性能优化和高可用保障等一线实战经验。

 

文 / 霍东海

整理 / LiveVideoStack

大家好，我是来自新浪微博视频平台和微博平台研发部的架构师霍东海，从2017年加入微博，目前在微博视频平台负责微博视频离线处理系统架构等相关工作，包括大规模离线微服务系统的架构设计和服务保障体系的建设等。 近期专注于视频平台技术体系的提升对用户体验提升的帮助，主导构建了微博SVE(Streaming Video Engine)系统，支持大并发场景下对视频进行并行转码，大幅度提升转码效率。

1. 背景介绍

微博本身有大并发、大流量的特性，有4亿+的月活，同时微博也是一个开放平台，支持多种第三方分享，每天都会有百万视频分享需进行处理。

微博视频业务大概分两种业余形态，一个如左图所示，是竖版的短视频分享，另一个是如右图所示的稍微长一点的横向播放的短视频。

 

微博视频还有一些特殊的场景，例如在微博PC端点视频按钮会跳转到酷燃网，它是一个5到15分钟的短小综艺类视频分享的网站，如图中，下面都是一些优酷，爱奇艺，腾讯等视频网站分享到微博的视频。

 

 

我们微博视频团队面临的业务场景是及其复杂的，我们要在复杂的场景下解决视频处理的问题。 如图中，我们有微博视频，酷燃视频，付费视频，微博故事，秒拍，以及通过开放平台接入的视频分享网站，微博在最上层会接入极其多的业务方。 中间会引入业务调度中心，即业务调度层，对上层业务进行调度。

 

另外是数据同步，所有的视频呈现在微博都是博文的形式，始终是需要和我们自己的系统进行交互的。 业务调度层的另外一个作用就是对视频内容进行分析。 往下一层是文件存储，媒体库层。 文件存储包括文件上传，文件存储方面等的问题。 媒体库是视频对象的源信息，如视频分辨率URL，视频长宽，用户ID，博文内容等信息存储。 最下层是转码服务。 我们重点介绍的就是转码服务在微博场景下的思考。

2. 微博视频转码服务架构与挑战

 

2.1 视频处理系统传统架构

在讲微博面临的问题之前，先来了解一下视频处理系统的传统架构。 例如，某一用户在PC端或手机端有一个1080p，5Mbps的视频需要上传。 在传统的架构中，会先将文件传到文件上传服务，文件上传服务将其传到底层存储。 传到存储后，文件上传服务会告知转码服务文件需进行转码。 转码时转码服务通过调度器将转码任务传到对应的转码集群中的转码服务器。 真正转码的机器，从存储中下载用户上传的源文件，转换成特定格式后回存到存储中。