基于强化学习的自动码率调节

今天的主要内容：

1. 自适应码流

2. 强化学习

3. 基于强化学习的自动码率调节

 

今天的主要内容分三个方面，第一，介绍一下什么叫自适应码流，在自适应码流中我会着重介绍为什么要用自动码率调节。然后会给大家介绍一个很清晰的评价标准来衡量我们做的自动码率调节。第二，介绍强化学习，可能在座的大部分人对强化学习的了解应该不是很多。第三，基于强化学习的自动码率调节，在这里会简单介绍一下怎么样用强化学习来实现自动码率调节，自动码率调节现在已经有一些算法了，但这些算法都有自己的优势，当然也有自己的短处，那么为什么我们要用强化学习来做？以及我们在用强化学习做自动码率调节的时候，它应该是采用一种怎样的技术架构，以及有哪些要实现的技术要点？

1、关于我们

我们项目组是隶属于爱奇艺网络终端部的，爱奇艺目前是国内最大的长视频网络公司，仅在过去的一年，共增加两千八百多部的电视剧，以及一万多部的电影，移动端的月活动量达到6.1亿，PC端也达到了3.6亿，是除了微信和QQ之外，月活动量最多的一个应用。我们用户的网络环境和设备是千差万别的，网络环境主要分为三种， PC端主要用的是有线连接，手机端大多是的是WiFi，数据网络用的不是太多，除了这三种还有其他网络，比如连上一些其它的手机热点等等。爱奇艺的终端也包括很多种，现在最多的用户是手机用户，除了手机还有一些比较常见的如PAD和PC。另外，在中国的家庭里面，网络电视也是非常重要的一个方面。除此之外，还有一个特殊的应用——奇艺果，这是我们自己推出的一个很适合连接到网络电视上，可以将你手机上内容完全在电视上进行播放的一个工具，效果很好而且也很便宜。我们组一直致力于用技术手段为用户提供更清晰流畅的观看体验，下面为大家介绍的自适应码率调节就是提升观看体验的一种手段。 

2、自适应码流

2.1 介绍自适应码流

用户在观看一个视频的时候，需要将视频内容从服务器上取到本地才能观看，在这个过程中因为用户的网络环境和设备千差万别，如何在一个复杂的环境中给用户提供一个清晰流畅的视频，自适应码流就是一个很好的解决办法。因为它可以根据用户的网络情况来为用户提供不同的码率节目，它能够更充分的利用用户的带宽，根据用户的带宽提供不同的码率节目，相比较于之前单一的码率节目，它所提供的节目会更清晰流畅。

      

 自适应码流包括两个方面：

1）传输形式：HLS/DASH/Smooth Streaming

2） 码率调节算法：ABR

HLS是苹果公司推出的一个传输协议，Smooth Streaming是微软推出的一个标准协议，DASH是大家目前用的最多的开源的传输形式。我们可以通过码率调节算法来确定如何通过用户的网络情况来提供不同码率，它整个流程是在节目生产的时候就会被编码为不同的码率，根据用户的不同情况，比如说在PC观看还是在手机观看，以及用户的网络情况不同，会给用户分发不同码率的节目，使得用户在观看的时候能够不卡且清晰度最高。

2.2 实现过程