MPEG DASH SRD - Spatial Relationship Description 论文阅读

Abstract

论文讲解MPEG-DASH标准的SRD feature
论文要点：

• SRD的设计原则
• SRD的出现使得哪些想象变为可能
• SRD在高分辨率视频的交互式 streaming中的应用

Introduction

第一节

• 视频的空间子域（spatial sub-parts）输出到显示器，结合了MPEG-DASH原有的自适应多速率流（adaptive multi-rate streaming）的特点。<=> tiled streaming => the best compromise between bandwidth, storage, processing and device requirements
• SRD通过描述两个相关视频内容的空间关系扩展了MPEG-DASH标准的MPD标准。这使得DASH客户端可以显示和检索那些分辨率和用户体验相关的视频流。
  第二节
  考虑有关可伸缩视频系统和传输视频空间子域的相关工作
  第三节
  tile streaming背后的概念
  第四节
  SRD的设计原则、定义和示例
  第五节
  实验示例
  第六节
  结论与未来应用的展望

Related work

因为超高清视频捕获系统的出现， Interactive ROI video streaming 使得终端用户有了在观看视频时调整他们viewing direction and zooming level的选择。

介绍ClassX System用于在线讲座的流式传输，其为减少 tile switching的延时自研了crowd-driven的预测框架来prefetch可能被选择的ROI区域,其实主要是借助了用户的观看数据来进行预测。其相比没有prefetch的系统显著减少了时延。

其他一些相关工作：
regular encoding VS coding for tiled streaming
regular monolithic streaming VS tiled streaming

一些编解码器和容器实现只支持寻找（seek）最近的i-帧，这也导致了切换延迟，因为客户端需要等到所有的视频帧在服务端被编码才可以实现同步

TILED STREAMING

定义：Tiling处理指的是对视频进行空间分割，每个tile对应独立解码视频流
一个已经经过tiling处理的视频是通过将原视频的每一帧（frame）划分为多个较小分辨率的帧，然后将来自输入帧的相同分区/区域的较小帧聚合到一个新的视频中。

MxN作为平铺方案，M为列数，N为平铺网格的行数，经典的视频压缩对应一个1x1tiling

优点：消除了图块之间的所有依赖关系
缺点：确保图块之间的同步