Neural adaptive video streaming with Pensieve

what is adaptive bitrate streamer?

1. 设备采集视频，并通过编码器编码上传视频流（camera，encoder）

2. 媒体服务器上的转码器对视频转成不同的码率，发送到cdn网络，存储到边缘服务器上

3. 转码（需要大量资源）

   

4. 打包压缩音频和视频（转换、重新包装或打包），比如通常是h.264视频和aac音频，重新打包它，装入不同的管道中，就好像一封信装入多个不同的信封进行发送，其中manifest向播放器可以指明使用什么解码（不需要什么硬件资源）

是这个阶段

5. ABR

   pensieve上的

   

   当今通过 HTTP 流式传输视频的端到端流程。 如图所示，嵌入在客户端应用程序中的播放器首先向视频服务提供商发送令牌以进行身份验证。 提供商使用清单文件进行响应，该文件将客户端定向到托管视频的 CDN 并列出视频的可用比特率。 然后，客户端使用自适应比特率 (ABR) 算法逐个请求视频块。 这些算法使用各种不同的输入（例如，播放缓冲区占用率、吞吐量测量等）来选择未来块的比特率。

   youtube上讲的：abr考虑更多方面

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来sssssssss直sss上sss(img-ZBvUIVGZ-1652518411988)(C:/Users/hch/AppsDsastasRsoaming/Typora/typora-user-images/image-20220427102s65s75.pns量级别），缓冲有多大，填充缓冲区的速度有多快…

pensive 认为ABR的不足

ABR采用简化不准确的固定控制规则（没用AI），不可避免地无法在广泛的网络条件和qoe目标中实现最佳性能。

pensive的成果

1. pensive是网络调控领域第一个用深度强化学习的（2017）

2. Pensieve 都优于最先进的方案abr，平均 QoE 提高了 12%–25%

3. pensive对于不同网络条件采用一种数据驱动的手段

pensive的挑战

1. 网络吞吐量的多变性，网络状况可能会随着时间的推移而变化，并且在不同的环境中可能会发生显著变化。这使得比特率选择变得复杂，因为不同的场景可能需要不同的输入信号权重。例如，在时变蜂窝链路上，吞吐量预测通常不准确，无法解释网络带宽的突然变化。不准确的预测可能会导致网络利用率不足（视频质量降低）或下载延迟（拒绝）。为了克服这一点，ABR算法必须优先考虑更稳定的输入信号，比如这些场景中的缓冲区占用。

2. 视频qoe的冲突（高比特率，少卡顿，流畅性），最大化视频质量（即最高平均比特率）、最小化重新缓冲事件（即客户端播放缓冲区为空的情况）以及保持视频质量平滑度（即避免恒定的比特率波动）。然而，其中许多目标本质上是相互矛盾的

3. 比特率决策也会影响后面（选择高比特，可能会导致后面重新缓冲）

4. abr决策的粗粒度特性,存在这样的情况：估计吞吐量略低于一个比特率，但远高于下一个可用比特率。在这些情况下，ABR算法必须决定是优先考虑更高的质量还是重新缓冲造成卡顿的风险

相关工作

1. 最先进的方法 MPC [51] （2017pensieve之前）通过在几个未来块的范围内解决 QoE 最大化问题来做出比特率决策。通过直接针对所需的 QoE 目标进行优化，MPC 可以比使用固定启发式的方法表现得更好。然而，MPC 的性能依赖准确预测模型，尤其是对未来网络吞吐量的预测。（预测不准，什么都无）正如我们的实验所示，这使得 MPC 对吞吐量预测误差和优化范围的长度很敏感

基于强化学习的好处

Pensieve can learn how much playback buffer is necessary to mitigate the risk of rebuffering in a specific network, based on the network’s inherent throughput variability. Or it can learn how much to rely on throughput versus buffer occupancy signals, or how far into the future to plan its decisions automatically

根据网络固有的吞吐量可变性，Pensieve可以了解需要多少播放缓冲区来减轻特定网络中的重新缓冲风险。或者它可以了解在多大程度上依赖于吞吐量与缓冲区占用信号，或者在未来多长时间内自动计划其决策

pensive模型[待更新，正在学actor-critic]

A3C actor-critic RL algorithm

github

hongzimao/pensieve: Neural Adaptive Video Streaming with Pensieve (SIGCOMM '17) (github.com)