阅读[19ICIP]A server-side optimized hybrid Multicast-Unicast Strategy for multiuser adaptive 360 video

1 标题与作者

A SERVER-SIDE OPTIMIZED HYBRID MULTICAST-UNICAST STRATEGY
FOR MULTI-USER ADAPTIVE 360-DEGREE VIDEO STREAMING

2背景

1近年来，为头戴式显示器(HMD)的用户提供身临其境体验的360度视频吸引了越来越多的兴趣。
2阻碍360度视频发展的挑战之一是对超高清分辨率的要求，这给视频流媒体带来了沉重的负担。
3与传统视频不同，360度视频在每个用户的头戴式显示器上单独显示，导致视频内容不能被多个用户共享。

3挑战

1在预先预测视场的情况下，速率自适应算法根据预测的视场和网络条件选择每个贴图的最优质量。但它们以单播模式传输视频，这可能仍然会给服务器带来交付压力。
2在组播模式下，请求相同视频内容的用户可以共享一份资源副本，这会导致总体QoE降低，因为视频内容应该以比特率不超过用户中最差带宽的方式传递给用户。
3现有以所有用户的整体QoE最大化为目标的智能组播策略要么没有考虑比特率自适应问题，要么没有考虑用户FoV。

4贡献

1我们提出了一个多用户自适应360度视频流框架，该框架不仅能够以混合多播-单播模式传输图像，而且还可以自适应地确定每个图像对应的比特率。
2提出了一种用户聚类方法，将用户聚为多个适合共享相同视频内容的组播集群。它降低了求解联合交付方式选择和速率适应问题的计算复杂度。

5系统框架和模型

5.1 视频预处理与符号规定

考虑一个360度视频，其中360度球形场景通过等矩形投影(ERP)投影成矩形全景场景。
在服务器端，矩形全景视频序列以多个不同的比特率编码，代表不同的视觉质量。用R = {R1, R2，···，RN}表示可用比特率集，其中R1 < R2 <···< RN。然后将该视频的所有比特流版本在时间上分割为C个片段(称为块)，这些片段包含恒定数量的视频帧(即固定的播放时间持续时间L)，而每一帧也在空间上分割为M个大小相同的瓦片（也翻译为贴图）。
假设存在一组用户U，他们经历各种网络条件，请求第c个视频块(0≤c≤C)，我们用Rc,t,u,η表示块c通过组播(η = 0)或单播(η = 1)传递给用户u∈U的第t个瓦片的比特率。
考虑到带宽和丢包率，我们使用吞吐量(即在一个单位周期内正确传输的比特数)来反映网络状况。因此，服务器吞吐量Thsc表示向用户发送数据块c的总容量，而用户吞吐量Thu,c表示用户u从服务器接收数据块c的容量。我们用Vu,c表示当用户u观看第c个视频块时，位于用户u的FoV中的贴图集(即可见的贴图)。
未来的吞吐量可以用历史统计数据来近似预测。
对用户头部运动也可以预测，我们用角度向量θu,c = {θp,u,c， θy,u,c， θr,u,c}来表示用户u在第c个块播放时间内的预测头部运动，其中可以以一定的预测精度推导出用户fov中的可见贴图。

5.2 针对多用户混合多播-单播自适应360度视频流的服务器和客户端的设计

图1显示了针对多用户混合多播-单播自适应360度视频流的服务器和客户端的设计。当视频服务器开始发送视频时，用户聚类模块收集用户的fov和吞吐量的预测信息，然后识别组播集群。我们用Gc = {G1,c, G2,c，···，GK,c}表示组播集群，其中K为组播集群的总数。
根据用户聚类结果，自适应模块确定每个组播集群中每个块的传输方式和相应的比特率。然后，将组播块和单播块分别发送给用户。我们假设在任意集群中，以组播模式或单播模式向所有用户发送一个贴片，并且所有用户在组播模式下接收到相同的比特率，这满足

其中集合VGk,c,c =∪u∈Gk,c Vu,c是所有组播集群Gk,c中的用户可见块集合的并集。
在客户端，接收到的贴片被合并并恢复到一个视频块中，该视频块可以稍后由合并模块渲染并显示在HDM中。同时，吞吐量和头动跟踪模块记录用户的头部运动和吞吐量的实时信息，并将其上传到服务器的吞吐量和头动预测模块。

5.3服务器端优化

5.3.1 用户聚类

根据观察到的fov和吞吐量特性对用户进行聚类
本文对每个用户的fov和吞吐量观测值进行联合分析，将fov和吞吐量观测结果结合为一维观测结果。
考虑视频块c由用户U请求，用户总数为U，我们定义视频块c下载时间内预测吞吐量观测值的用户距离矩阵为:

用户在视频块c下载时间内的FoV距离矩阵可以看作是用户头部运动的差值:

将归一化视场与吞吐量观测值线性结合，可直接将用户距离矩阵输入到AG-MS中，定义为:

其中[·]归一化为归一化算子，权重ω≥0平衡用户聚类吞吐量和FoV特征之间的优先级。

5.3.2联合优化

为了在有限的吞吐量下最大化所有请求同一视频的用户的整体QoE，在用户聚类的基础上，对每个贴片的传输方式和对应的比特率进行了联合优化。

在本文中，通过视频场景的失真来定义用户的QoE。在目标函数中，D(·)为率失真模型，视频失真用均方误差( MSE)表示。目标函数的目标是最小化用户的平均失真之和，这是通过计算用户可见贴图的平均失真来实现的。此外，约束(6d)定义了每个可见贴图的可选视频比特率。约束(6e)确保在视频流中放弃冗余的tile。
Eq.(6)中的优化问题是一个非线性整数规划问题，仍然是np困难的，并且速率失真模型D(·)是凸的。我们可以采用最陡上升算法来解决这个问题。最陡上升算法通过迭代搜索Ru,c,t,在约束条件下能达到最大斜率的最陡上升方向，并在该方向增加比特率水平，得到最优解。
直观地看，在不进行用户聚类的情况下，各组可行的组播用户组合数量将随着用户数量的增加呈指数增长。因此，用户聚类大大减少了组合的数量，这也减少了最陡上升算法的搜索区域和计算复杂度。

6实验结果

6.1实验配置

在我们的实验设置中：
1测试360度视频通过高效视频编码(HEVC)以6比特率级别进行编码，QP设置分别为{17,22,27,32,37,42}。然后，我们用DASH-SRD将它们打包，每个块持续时间为2s，每个块被划分为8 × 8块。
2假设用户的吞吐量按高斯分布随机分配，均值μ = 20mbps，标准差σ = 5mbps。在仿真中，将服务器的吞吐量设置为常数Thsc = 100 Mbps。
3此外，从[11]的数据集（Y. Bao, H. Wu, T. Zhang, A. A. Ramli, and X. Liu,
“Shooting a moving target: Motion-prediction-based transmission for 360-degree videos,” in 2016 IEEE International Conference on Big Data (Big Data), Dec
2016, pp. 1161–1170.）中随机提取用户头部运动信息(即Eq.(4)中的θu,c)。注意，头部运动的翻滚角度在数据集中总是接近0◦，我们在模拟中没有考虑到这一点。

6.2结果

图2显示了用户聚类的性能，其中每个点代表一个用户，具有相同颜色和形状的用户组成一个多播集群。具体来说，图2(a)和2©表明，集群中的用户确实具有相似的吞吐量和头部运动(?)。图2(b)和2(d)显示了聚类完成后用户头部运动在每个聚类中的分布。可以观察到，当ω = 0.2时，任意集群中用户之间的平均视场距离都大于ω = 0.6时的视场距离。

图3比较了不同用户数下的平均失真(即所有用户fov的平均失真)，其中单播策略假设所有用户仅以单播方式接收服务器的视频流，组播策略假设服务器仅以组播方式发送视频给用户，不进行聚类;在聚类组播策略中( Y. Yuan, Z. Zhang, and D. Liu, “AG-MS: A user grouping scheme for DASH multicast over wireless networks,” in 2017 IEEE 85th Vehicular Technology Conference (VTC Spring), June 2017, pp. 1–5.)，首先将用户聚到多个组播集群中，然后只在每个集群中使用组播。结果表明，单播策略在用户数量较少的情况下表现较好，而在用户数量较大的情况下表现较差。聚类组播策略与本文提出的组播策略具有较低的失真率，并具有一定的优越性对其他人来说，尤其是当用户数量很大的时候。
注意，在我们提出的策略和集群多播策略中，当添加新用户时，用户应该再次集群。不同用户数量上的用户聚类结果不同，会导致平均失真有一定的波动。
图4显示了平均失真的累积分布函数(CDF)。可以看出，在选择传输模式和比特率时，我们提出的策略总能实现最优权衡。通过比较，单播和组播策略接收到的失真率都高于我们提出的策略接收到的最高失真率.

7评价

7.1优点

1提出了一个多用户自适应360度视频流框架，能够联合决策多播or单播的传输模式与每个图像对应的比特率。
2方案整理简单

7.2缺点

1没有考虑头部运动的翻滚角度在数据集中总是接近0◦
2当添加新用户时，用户应该再次集群，集群操作消耗的时间可能会影响视频传输模式与比特率的决策。
3从实验结果来看，本文的聚类方法的效果实际欠佳。
4ω参数的取值没有科学的展示