基于强化学习的实时视频流控与移动终端训练方法研究

目录

0 引言

图1

1 研究现状

1.1 基于规则的协议设计

1.2 机器学习驱动的协议设计

1.3 视频点播与实时视频系统

2 问题建模

2.1 强化学习概述

图2

2.2 基于强化学习的视频流控问题定义与设计

3 关键技术及模型设计

3.1 实时视频传输概述及设计

3.2 基于网络环境感知的动态码率阈值调控设计

3.3 训练策略

3.4 训练方法及架构

图3

3.5 参数设计

4 基于强化学习的移动终端训练设计与方法

4.1 端上推理与训练平台汇总

4.2 基于端上训练的视频智能流控算法

图4

图5

5 实验结果与分析

5.1 数据集和实验设置

图6

5.2 用户体验质量评测

图7

图8

图9

5.3 算法鲁棒性测评

图10

图11

5.4 消融实验讨论

图12

6 结束语

---

摘要

以物联网、移动互联网为核心的服务平台加速发展，数以亿计的终端用户通过实时视频进行通信，实时视频已成为人们数字化生活中不可替代的核心工具。然而，互联网络呈现高动态、强异构的特性，对实时视频的流控技术提出了严格要求，用户体验质量仍然不佳。设计了适用于异构网络环境的强化学习驱动的自适应流控算法、研发了移动终端训练技术以降低服务端开销，并对算法的设计及结构进行了深入的评测研究。实验表明，所设计的自适应流控算法可以有效地预测网络带宽，相较于国际代表性的流控算法，将预测带宽误差降低了48.48%。有效的带宽预测进一步提升了视频用户体验质量，如视频流畅度提升了 60.65%、视频清晰度提升了 16.52%。此外，测评分析可为实时视频流优化方案提供经验性指导，有力推动智能视频应用的发展。

关键词： 实时视频 ; 自适应流控 ; 体验质量 ; 强化学习 ; 终端训练

0 引言

以物联网、移动互联网为核心的服务平台加速发展&#