【无线通讯Paper】【1】derstanding 5G Performance for Real-world Services:a Content Provider’s Perspective_5g network performance in container terminal envir-CSDN博客

前言：

这篇是清华，上海交大，快手的一篇Paper.

这是一个双赢的典型案例：企业的优势是有大规模高质量的数据，包括工程经验。高校的优势是理论和方案设计。高校目前一个考核内容是科研成果落地情况：如果跟企业合作一开始就避免该情况，如果只是高校内部的科研很难落地。企业考核一般比较注重创新的价值意义:通过往一些顶刊,顶会投稿,一开始也避免的研究方向错误问题。

这篇Paper 里面有个 $R^2$ 决定系数（coefficient ofdetermination），拟合优度，来判定参数的可解释性，可以学习一下。

统计学——线性回归决定系数R2_r2计算公式-CSDN博客统计学——线性回归决定系数R2_r2计算公式-CSDN博客

https://zhuanlan.zhihu.com/p/598777869

简介
测试方法
测量方法
END-TO-END 表现
RADIO ACCESS NETWORK PERFORMANCE
CORE NETWORK PERFORMANCE
DISCUSSION AND ENHANCEMENT
相关工作

摘要

近年来，5G技术发展迅速，吸引了大量关于其覆盖范围、连接性和服务质量的测量研究。然而，从内容提供商（CP）的角度来看，对5G的能力和潜在影响仍缺乏深入理解。

本文通过研究快手（一个流行的众包直播平台）中超过2300万用户在一年内使用的5G网络，填补了这一空白。我们的测量研究得出了以下发现：
i) 与4G或非独立组网（NSA）5G相比，独立组网（SA）5G通常能提供端到端的性能提升，但其优势取决于蜂窝用户数量和CP级别的配置。
ii) 在无线接入网络中，SA 5G对接入密度更敏感，但在切换容忍性方面表现更好。
iii) 通过对29款移动设备模型的能耗控制实验，反驳了一些“传统观念”，包括5G总是消耗更多能量的观点。
iv) 在300多个城市中基于Traceroute的主动实验表明，尽管SA 5G用户“更接近”互联网，但其端到端延迟可能并未因此受益。
此外，我们展示了5G参与者的新设计空间，并提供了一种基于5G感知的重新缓冲策略，该策略在快手中由900万观众测试，重新缓冲比例减少了7%。

一简介

近年来，5G基站部署和终端用户数量均实现了快速增长。自第一套完整的5G新空口（NR）标准（3GPP R15）完成以来[5]，5G基站已在全球范围内部署，其中仅中国就贡献了超过115万个5G基站[29]。根据思科年度互联网报告[13]和爱立信移动报告[16]，到2023年，5G连接的带宽将提升13倍，而到2027年，5G将占所有移动用户订阅量的49%。

5G相较于4G具有更高的带宽、更低的延迟、更好的可靠性和大规模接入支持[5, 6]，因此它吸引了众多关于其覆盖范围、连接性和服务质量（QoS）的测量研究，同时也催生了新的应用，如需要高带宽的超高清（UHD）和360/VR视频[42]、对延迟敏感的自动驾驶[12]以及物联网（IoT）设备的大规模接入[38]。

在测量研究方面，Xu等人[44]和Narayanan等人[31]主要从互联网服务提供商（ISP）的角度对5G覆盖范围和无线接入特性进行了测量。Narayanan等人[33]还研究了吞吐量、功耗以及对用户体验质量（QoE）的影响，并提出了一种4G/5G切换方案来节约能源。Li等人[27]从智能手机供应商的角度研究了5G的可靠性，并提出了一种恢复策略来提高网络可靠性。

一方面，以往的测量研究主要关注非独立组网（NSA）5G，它仍然使用4G的核心网络。对于独立组网（SA）5G，Narayanan等人[33]研究了低频段SA 5G（即600MHz）的端到端延迟和吞吐量。他们发现SA 5G的性能不如NSA 5G，这可能是由于当时SA 5G技术尚不成熟。因此，关于SA 5G的诸多谜团仍有待完全揭示。随着中国中频段SA 5G（即2.6GHz和3.5GHz）部署的增加，我们的工作与以往的研究有所不同，部分原因在于我们主要关注SA 5G，并首次深入研究了5G核心网络。

本文通过研究快手这一大型众包直播（CLS crowd sourced live streaming）内容提供商（content providers）在一年时间（2020年12月至2021年11月）内，超过2300万用户使用的5G网络，试图回答这些问题。众包直播作为移动网络的关键应用之一，预计随着5G网络的普及，其增长速度将更快。事实上，快手5G用户（拥有5G设备的用户）的比例从2020年12月的13.4%增长到2021年11月的32.1%。

在众包直播系统中，主播将视频流上传到源服务器，然后源服务器将这些视频流分发给数百万潜在观众。从内容提供商的角度来看理解5G的潜力实际上会带来技术挑战

首先，在这样庞大且复杂的在线服务系统中进行测量并非易事

i) 尽管众包直播有很多性能指标，但其中大多数对于直接研究5G网络来说用处不大，例如流比特率。这需要一套指标，这些指标不仅要在众包直播中具有足够的代表性，还要能够反映5G网络的特点。

ii) 存在大量条件因素，例如设备型号和编码模式，这些因素的不同组合可能对上述指标产生不同的影响。然而，不可能一一列举并记录所有这些因素，因此很难获得“无偏见”的结果。

iii) 由于数据收集会消耗用户设备的额外资源，因此在收集数据的同时，需要将对用户服务质量体验（Quality of Experience，QoE）的影响降到最低。作为一项每天为数亿用户服务的在线服务，应避免对应用稳定性造成任何可能的负面影响。

其次: 该系统中的第三方对数据收集和分析都提出了挑战

i) 为了分发数据流，快手采用了来自多个提供商的内容分发网络（CDN-s content delivery networks ），这些网络在数据流传输中往往充当黑盒角色，影响了我们对许多指标（例如主播到观众的延迟）的分析。

ii) 互联网服务提供商（ISP），在中国也扮演着移动网络运营商（MNO）的角色，很少向公众公开核心网络的配置和部署信息，因此需要额外的努力来理解内容提供商收集的数据，以揭示5G网络的特性。

了克服这些挑战，我们设计并实施了以下数据收集机制：

结合主动和被动数据收集来验证来自不同应用和操作系统版本的数据，以及插入私有字段来抵消第三方的影响。通过精心设计的实验，我们回答了上述问题，并为内容提供商提供了见解。我们的主要贡献和重要发现总结如下。

据我们所知:

1 我们是首次从内容提供商（CP）的角度，对5G网络提供的服务质量（QoS）和众包直播场景下5G用户的体验质量（QoE）进行大规模测量的研究。

2 我们测量了主播和观众之间的端到端性能，以及从主播到观众的整体直播流畅度。我们发现，独立组网（SA）5G降低了应用级延迟，即主播的连接建立延迟约为4G的60%，整体传输延迟为4G的67%~89%，

3 并且下载速度更高。此外，我们还展示了SA 5G相较于非独立组网（NSA）5G的优越性能，这与美国的研究结果[33]不同。然而，随着SA 5G用户数量的增加，其下载速度呈现出下降趋势。

我们研究了无线接入网（RAN）的性能。对北京和深圳用户的测量显示，相较于4G，独立组网（SA）5G对接入密度的敏感性更高，尤其是在接入密度较低的情况下。切换结果显示:

1 水平切换比垂直切换更为频繁，且这两种切换都会极大地影响用户的体验质量（QoE）。

2 对于垂直切换，非独立组网（NSA）5G与4G之间的切换对再缓冲频率的影响最小；而对于水平切换，SA 5G内部的切换对再缓冲频率的影响最小。（rebuffer）

我们也对能耗进行了研究。基于对27种Android设备和2种iOS设备的2200万5G用户的测量数据，我们检验了几条关于能耗的传统观念，并发现这些传统观念并不总是正确的。使用独立组网（SA）5G并不一定比使用4G更耗电：在29种设备模型中，有7种在SA 5G下的耗电量少于4G。能耗表现与5G系统级芯片（SoC）高度相关：

对于麒麟和天玑芯片，SA 5G与4G的能耗差距在-5%至6.5%之间，

但对于骁龙和A14芯片，这一差距分别高达18%和17%。

我们探讨了5G核心网络的影响。基于170万用户的traceroute结果，我们发现使用独立组网（SA）5G的用户与互联网“更亲近”（closer）。然而，与互联网更亲近并不能保证用户到服务器的往返时间（RTT）减少；相反，缩短网关服务器之间的距离通常更有助于降低RTT。

我们还为5G参与者（包括内容提供商、互联网服务提供商等）提供了关于服务器放置策略、路由策略等方面的见解和系统优化指南。基于测量得出的见解，我们提出了一种5G感知的再缓冲策略，该策略已在快手平台上由900万观众进行测试，结果显示再缓冲比例降低了7%。

Rebuffer策略，特别是在流媒体播放场景中，指的是一种用于管理视频缓冲的技术策略。以下是关于rebuffer策略的简要介绍：

一、定义与目的

Rebuffer策略旨在减少或避免流媒体播放过程中的缓冲停顿现象，从而确保用户能够流畅地观看视频内容。通过智能地管理视频数据的下载和缓存，该策略可以在网络条件不佳或视频质量要求较高时，提供更为稳定的播放体验。

二、核心机制

缓冲窗口管理：
Rebuffer策略会设置一个缓冲窗口，用于存储即将播放的视频数据。
当缓冲窗口中的数据量低于某个阈值时，播放器会开始下载更多的数据以填充窗口。

下载速率调整：
根据当前的网络状况和视频质量需求，Rebuffer策略会动态调整下载速率。
在网络状况不佳时，可能会降低下载速率以减少缓冲停顿；
而在网络状况良好时，则会提高下载速率以预加载更多的视频数据。

播放速率与缓冲策略的协同：
Rebuffer策略还会考虑播放速率的变化，以确保缓冲窗口中的数据量始终能够满足播放需求。
例如，在用户快进或倍速播放时，策略会相应地调整缓冲窗口的大小和下载速率。

二背景技术

2.1 Crowdsourced Live Streaming （众包直播）

在众包直播流系统中，任何个人都可以作为主播（或上传者），创建直播频道并持续向该频道上传视频流，通常是通过他们的智能手机进行。其他用户则能够加入该频道作为观众，并从内容分发服务器接收视频流。与传统的视频点播（VoD）服务不同，在众包直播服务中，观众可以与主播进行实时互动。因此，众筹式直播有望更多地受益于5G的低延迟特性。如今，流行的众包直播系统，如Twitch [14]和快手[24]，每天都能吸引数亿活跃用户。主播和观众的体验质量通常取决于他们所连接的蜂窝网络或Wi-Fi网络的质量。

UPF:

3GPP定义为数据面功能，区分别控制面（如AMF,SMF,UDM,NRF,NSSF,AUSF等）。5GC控制面类似于EMC，区别在于微服务化和SBI化，作用于UE行为管理和通信管理（微服务化后的5GC为切片提供了天然支撑基础）； 5GC数据面，即UPF,功效与PGW/SGW几乎完全相同。

UPF本质仍然是一个传输设备，配合控制面打通UE、RAN、DN的通信通路，即会话/承载。北向支持N4接口的策略控制，东西向支持N3,N6/N9，中间基于会话/承载转发，可以说是一个策略路由器，流式转发器。
-----------------------------------
5G网络架构及网元通信流程 5g网络主要的网元设备
https://blog.51cto.com/u_12831/10528656

2

4G PGW

PGW的全称叫Packet data network Gateway，含义为分组数据网络网关。它主要负责连接到外部网络，也就是说，如果手机要上互联网，必须要PDW点头，通过PDW转发才行。除此之外PDW还承担着手机的会话管理和承载控制，以及IP地址分配，计费支持等功能。

2.1 5G Networks

5G网络包括非独立组网（NSA）和独立组网（SA）两种部署方式[18]，其结构如图1所示。为了利用现有的4G核心网（演进分组核心网，EPC），NSA 5G仅部署5G基站（gNodeB），并与4G共享核心网。它要求用户设备（UE）同时连接到4G基站（eNodeB）以处理控制平面，以及连接到5G基站（gNodeB）以处理用户平面[18]。

另一方面，SA 5G同时部署了gNodeB和5G核心网（5GC），这意味着UE只需与gNodeB建立单一连接。在核心网方面，4G网络与互联网之间的网关是PDN网关（PGW），通常仅部署在中国的省会城市。

而在5GC中，采用控制与用户平面分离（CUPS）架构，网关被称为用户平面功能（UPF），可以部署在更靠近用户的位置[30, 50]。由于SA 5G需要更多基础设施部署，互联网服务提供商（ISP）通常从NSA 5G开始，逐步迁移到SA 5G。

目前，中国的三大运营商——中国移动（以下简称移动）、中国联通（以下简称联通）和中国电信（以下简称电信）——均已部署了NSA和SA 5G网络[17, 19, 28]。特别是在接入网络方面，它们使用了不同的无线电频段：

中国移动使用2.6GHz频段（n41），

而中国联通和中国电信则共建基站，均使用3.5GHz频段（n78）。

2.2 How 5G is Used by a CLS CP

我们以快手系统为例，介绍一个在5G网络中用户参与的众包直播系统的通用架构。在当前的5G网络部署中，使用5G设备的播主或观众可以连接到独立组网（SA）5G或非独立组网（NSA）5G，如图1所示。连接到源服务器后，播主将生成直播流并通过实时消息协议（RTMP）等流媒体协议将流上传到源服务器。为了支持多种码率，直播流还可以在转码服务器上转码为一组不同码率的版本。随后，这些流会被复制到不同区域的多个内容分发网络（CDN）服务器上，以支持不断增长的观众规模，观众将从这些CDN服务器接收直播流。

尽管5G网络已在全球范围内部署，但对于内容提供商来说，

仍存在一些未解之谜，本文将对此进行研究。

1）连接到5G网络的用户是否总是比其他移动网络的用户拥有更好的体验质量，用户能从5G中获得多大的收益？

2）在5G网络下，哪些因素可能影响用户在应用层面的体验质量？

3）为了充分利用5G的潜力，当系统中更多用户使用5G网络时，内容提供商应考虑哪些问题并采取哪些行动？

本文将从端到端网络、无线接入网和核心网的角度回答这些问题。

三 MEASUREMENT METHODOLOGY

在我们的测量研究中，我们构建了被动收集的大规模数据集，并进行了主动实验。我们的测量工作受到了几项先前研究的启发，包括在高速铁路上对4G网络性能的广泛测量[41]、基于traceroute的4G网络拓扑分析[39, 48]，以及几项关于5G网络的测量研究[31, 44]。

在我们介绍5G性能之前，首先展示了在我们的研究中，12个月时间跨度内5G日志的比例。根据广播商和观众所报告的日志中的网络类型标签，我们能够计算出每个月蜂窝日志中独立组网（SA）5G和非独立组网（NSA）5G日志的比例，并在图2中绘制了这些比例随时间的变化情况。我们观察到，在我们的系统中，NSA和SA 5G日志的比例从2020年12月的2%增加到2021年11月的12.6%。在所有5G用户（即使用5G设备的用户）中，SA 5G日志的比例从0.4%提高到25.8%，而NSA 5G的比例则从14.2%下降到7.1%，这表明在建立SA 5G基站方面投入了更多努力。值得注意的是，在2021年春节期间，这一比例略有下降，我们推测原因是许多用户为了家庭聚会从大城市迁移到当时5G网络部署较少的郊区。

我们还调查了同一时间跨度内不同城市5G网络的使用情况。在我们的研究中，我们选择了中国前三“梯队”中最发达的49个城市[2]，并将它们作为样本来研究5G的使用和部署情况。在图3中，我们绘制了中国三大移动互联网服务提供商——中国移动、中国联通和中国电信——在12个月的时间跨度内，5G用户中SA 5G日志比例超过25%（即5G用户使用SA 5G的机会超过25%）的城市数量。我们发现，到2021年10月，中国移动已达到49个城市，而中国联通和电信到2021年11月才达到41个城市，这表明中国移动在部署SA 5G基础设施方面比中国联通和电信更快。由于中国联通和电信共同建设5G基站并共享相似的频段，因此它们的曲线非常相似。

5G使用和部署的快速增长为我们提供了研究SA 5G性能，特别是其全新核心网络性能的机会，并将其与NSA 5G和4G进行比较。

伦理考量。

本研究中的数据收集与分析遵循快手与其用户之间达成的协议。我们未收集任何个人身份识别信息（例如，电话号码、国际移动用户识别码（IMSI）），且收集基站和位置信息需要用户额外的授权操作。我们从未将收集到的数据与用户的真实身份相关联，也无法做到这一点。分析工作是在快手平台内部进行的，从而避免了数据泄露。

我参与的项目中，公司，或者医院有专门的伦理审核法务部门。先找对应的部门审核确定能做，再做，这点是非常重要。

四 END-TO-END PERFORMANCE

在本节中，我们研究了蜂窝网络和Wi-Fi环境下众包直播的“端到端”性能，包括从主播到服务器、从服务器到观众以及从主播到观众的性能。我们从延迟、带宽和可靠性三个角度对其进行了研究。我们发现，三个互联网服务提供商（ISP）（或不同月份）的某些性能表现相似或得出了相同的结论。因此，为避免重复讨论，当不涉及互联网服务提供商（或月份）之间的比较时，我们将仅展示中国移动用户（或9月份）的结果

4.1 Broadcasters to Servers: Reduced Delay

我们首先研究了从主播到源服务器的性能，特别关注延迟。为了通过RTMP启动一个直播频道，首先需要在主播和源服务器之间建立一个RTMP连接[1]。

RTMP(Real Time Messaging Protocol)是一个应用层协议，主要用于在Flash player和服务器之间传输视频、音频、控制命令等内容。该协议的突出优点是: 低延时。

RTMP handshake视频流媒体推流平台RTMP协议是如何进行网络连接并推送视频流的？ - TSINGSEE - 博客园

在建立连接的过程中，用户和服务器首先建立一个TCP连接，然后通过TCP进行几次握手，并通过交换必要的变量来协商以建立RTMP连接。我们测量了RTMP连接建立的整个延迟，这是启动延迟的主要组成部分，并且会远高于RTT（往返时间）。我们首先展示了高度依赖网络的延迟也受到设备计算能力的影响。

在图4中，我们展示了不同网络中的平均连接建立延迟，这些延迟是在所有用户（使用过快手应用的用户）和5G用户（使用5G设备的快手用户）中测量的。我们发现，在4G和Wi-Fi网络中，所有用户的延迟都高于5G用户的延迟（大约高出50毫秒）。我们计算了用户与服务器之间的平均距离（城市级别的距离），这也在图4中显示。我们发现，在所有用户和5G用户中，用户与服务器之间的平均距离在每种网络类型中几乎相同。因此，我们将4G和Wi-Fi网络中所有用户与5G用户之间的延迟差异主要归因于设备的不同计算能力：5G设备通常更新，配备了更强大的CPU，能够更快地处理协商过程，并且比旧的4G设备更准确地计时连接建立。因此，我们得出结论，尽管延迟是一个高度依赖网络的指标，但4G设备的低计算能力可能会延长测量的延迟。为了在不同网络之间进行公平比较，我们将在本节中仅关注5G Android用户。通过公平比较，我们发现SA 5G在延迟性能上优于4G。在图5中，我们展示了不同ISP（互联网服务提供商）中的平均连接建立延迟，以及平均用户与服务器之间的距离。我们发现，在所有三个ISP中，SA 5G的延迟远低于4G和NSA 5G（低33%∼40%），尽管在所有蜂窝网络中用户与服务器之间的距离相似。SA 5G的优越性与我们的预期一致。然而，我们发现NSA 5G的延迟仅略低于4G（低4%∼10%）。这是因为NSA 5G使用了4G的核心网络，仅减少了空中接口的延迟，而空中接口的延迟远低于核心网络和互联网骨干网的延迟。此外，尽管中国联通和中国电信共享一些基础设施，但SA 5G在不同ISP中的延迟差异很大。值得注意的是，不同ISP中用户与服务器之间的距离排名与延迟排名并不匹配。例如，在SA 5G中，中国电信的用户与服务器距离最短，但延迟最高，而中国联通则相反。这意味着SA 5G在不同ISP中的不同延迟表现并不是由于用户与服务器之间的距离不同，而是由于其他因素，如核心网络部署。从CDN服务器到观众，我们关注观众的下载速度和卡顿情况，这反映了SA 5G的带宽利用率和可靠性。

4.2 Download Speed.

正如我们在§3.1中解释的那样，公平比较应在具有相似码率的流之间进行。在图6中，我们绘制了不同视频码率下的平均下载速度。总体而言，我们观察到在所有视频码率下，SA 5G的下载速度远高于4G，但仍然远低于理论容量[20]。

另一方面，随着码率的增加，4G和SA 5G的下载速度都有所提升。然而，4G和SA 5G的提升幅度不同；特别是，我们绘制了一条参考曲线，表示SA 5G的下载速度与4G的下载速度之比（即SA 5G/4G），并观察到该曲线从约1倍增加到超过2倍，这表明随着用户观看更高码率的流，SA 5G的下载速度提升幅度大于4G。这些结果也与之前的研究[22, 25]中的观察一致：可实现的下载速度取决于传输流和传输协议的特性。

此外，我们好奇SA 5G的更高下载速度是因为当时用户较少还是由于其先进技术。我们在图7中绘制了从2021年3月到2021年11月的平均下载速度。在这张图中，我们选择的流码率为6∼7Mbps，这足以支持高帧率的720p视频。我们观察到4G的下载速度稳定在约16Mbps左右，而SA 5G的下载速度和参考曲线都显示出下降趋势。随着2021年5G用户和使用量的大幅增加（§3.3），这表明随着SA 5G用户数量的增加，SA 5G的速度和对4G的优势逐渐减弱。然而，这一结果可能受到5G用户分布和部署偏差的影响：5G用户数量在互联网内在性能低于全国平均水平的地区（例如一些偏远地区）的快速增长可能会拖累全国范围内的性能。为了避免其潜在影响，我们选择了49个城市（与§3.3中相同）作为样本，并在图8中绘制了它们在2021年3月、7月和11月的SA 5G下载速度。

𝑥轴是5G用户上传的蜂窝日志数量与所有用户上传的蜂窝日志数量之比，这与5G用户数量及其活跃度正相关。

𝑦轴是SA 5G的蜂窝日志数量与5G用户上传的蜂窝日志数量之比，这与SA 5G的覆盖范围正相关。在这张图中，我们观察到几乎所有城市的SA 5G下载速度都随着𝑥的增加和覆盖范围的扩大而呈现下降趋势。因此，我们得出结论，SA 5G用户较少是其相对于4G优势的部分原因。用户密度的影响将在§5.1中进一步探讨。

Rebuffer 卡顿。

作为影响观众体验质量（QoE）的关键因素，当播放消耗完观众缓存中的所有帧时，就会发生卡顿，这通常是由下载速度下降或通信中断引起的。卡顿比例定义为卡顿持续时间占会话持续时间的比例，反映了连接的可靠性。在图9中，我们绘制了在网络类型未发生变化的情况下会话的平均卡顿比例。我们观察到，SA 5G的卡顿比例要低得多，几乎是NSA 5G和4G的一半。此外，在中国联通中，NSA 5G用户的卡顿比例甚至可能高于4G用户，这意味着NSA 5G并未显著提升可靠性。因此，我们得出结论，可靠性更多地与控制平面相关，而不是用户平面，因为NSA 5G仍然使用4G基站作为控制平面。此外，由于三家ISP在4G中使用不同的技术（即LTE-TDD和LTE-FDD [3, 4]）和无线电频段，三家ISP在4G中的卡顿表现差异是预期的。然而，有趣的是，尽管中国联通和中国电信共享相同的无线接入网络基础设施和相似的无线电频段，但它们在SA 5G中的卡顿比例也存在显著差异。由于这两家ISP在Wi-Fi中的卡顿比例相似，表明互联网骨干网并不是导致中国电信在蜂窝网络中表现更差的瓶颈，我们推断中国电信的核心网络可能是问题的根源（例如，涉及切换过程的接入和移动性管理功能[7, 35]）。我们将在RAN部分（§5.2）进一步探讨切换对卡顿的影响。

4.3 Broadcaster-to-Viewer Delay

最后，我们研究了从主播到观众（Broadcaster-to-Viewer, B2V）的整体延迟，即从主播创建帧到观众播放帧之间的延迟，这对主播与观众之间的互动体验有显著影响。

B2V延迟分解。如图10所示，我们首先将整个B2V延迟分解为以下几部分：

编码延迟：主播编码一帧所需的时间；
广播延迟：帧在主播端缓冲后发送到源服务器的时间；
传输延迟：帧从主播传输到源服务器、转码为不同码率（如需要）、传输到CDN服务器，再传输到观众的时间；
观众缓冲延迟：帧在观众端缓冲后播放的时间；
播放延迟：帧在观众播放器中处理的时间。

延迟分析。在图11中，我们绘制了上述延迟。由于经过转码和未转码的流在传输延迟上可能存在显著差异，我们通过在传输延迟块中标注未转码的流来区分它们。对于编码延迟和播放延迟，它们主要由设备的固有性能决定，因此在所有网络中表现相似。对于广播延迟和观众缓冲延迟，Wi-Fi和SA 5G用户的延迟比NSA 5G和4G用户更短。这是因为，对于主播来说，Wi-Fi和SA 5G的低延迟和高带宽允许传输协议扩大拥塞窗口，从而缩短排队延迟；对于观众来说，SA 5G和Wi-Fi用户的卡顿时间更少，因此能够维持更小的缓冲长度。

对于传输延迟，无论是在主播端还是观众端使用SA 5G都能减少延迟，而在两端都使用SA 5G时，与使用4G相比，经过转码的流延迟降低了237毫秒（11%），而未转码的流延迟降低了600毫秒（33%）。考虑到转码服务器不会区分来自不同接入网络的流量，有趣的是，SA 5G相对于4G在传输延迟上的优势在转码流中比未转码流中更小，无论是绝对减少量（237毫秒 vs. 600毫秒）还是相对减少量（11% vs. 33%）。

为了探究原因，我们再次分别计算了两类流中用户与其服务服务器之间的距离。我们发现，在蜂窝网络中，主要差异在于主播端：

对于未转码的流，其平均用户-服务器距离（320∼340公里）远短于转码流的距离。

这表明，未转码流的传输路径更短，可能是SA 5G在未转码流中表现更优的原因之一

五 RADIO ACCESS NETWORK PERFORMANCE

5.1 SA 5G：对接入密度更敏感

我们知道，SA 5G在许多指标上表现优于4G，但随着更多用户使用5G，下载速度会下降。我们仍然希望了解人群聚集是否直接影响其在无线接入网（RAN）中的性能。为了找到答案，我们研究了下载速度与“接入密度”之间的关系。

由于非5G导向的API限制了我们进行小区级别的测量，我们将接入密度定义为一个“网格”（例如2.2公里×2.2公里的正方形）内的快手用户数量，这些用户可以视为所有蜂窝用户的样本。为了聚焦RAN并避免互联网骨干网和核心网络的瓶颈和波动影响，我们仅选择全球服务质量（QoS）表现稳定的非高峰时段，即每天的12:00至18:00。

我们将北京和深圳划分为网格，计算每个网格在每十分钟时间窗口内的接入密度和平均下载速度。

在图12中，我们绘制了所有网格中观众的平均下载速度与每个网格的接入密度之间的关系。我们观察到，无论是4G用户还是SA 5G用户，当网格内用户数量增加时，平均下载速度都会下降，直到密度达到每网格20人。然而，当密度超过20时，平均下载速度趋于相对稳定。为了更好地理解下降趋势，我们为密度在1到20之间建立了回归模型，形式为𝑦 = 𝐴 log(𝑥) + 𝐵，结果在图12中标注。我们发现，SA 5G的𝐴绝对值更大，这意味着它对接入密度更敏感。例如，在北京，当密度从1增加到20时，SA 5G的下载速度下降了4.3Mbps，而4G的下载速度仅下降了2.7Mbps。考虑到SA 5G的下载速度仍然高于4G，我们得出结论：SA 5G的先进技术和较少的用户共同促成了其更好的性能。

5.2 SA 5G: More Tolerant to Horizontal Handovers

在蜂窝网络中，用户的移动性会导致切换，即服务基站的变更。切换分为两种类型：垂直切换，指的是网络类型的变更；水平切换，指的是在同一网络类型下基站的变更。4G和NSA 5G中的切换已被证明对服务质量（QoS）或用户体验（QoE）有极大影响[26, 44, 46]。因此，我们研究了SA 5G中的切换，特别是其频率及其对卡顿的影响。

切换统计：

在我们的数据集中，约80%的4G和NSA 5G日志报告了有效的基站信息，而SA 5G日志中只有4%报告了完全有效的基站信息，34%报告了部分有效（即LAC或CID中有一个有效）的基站信息。这可能导致水平切换的数量被低估，但对于以下分析仍然具有意义。

在表2中，我们计算了2021年9月快手检测到的中国移动用户不同类型的切换次数。首先，我们发现，在SA 5G和4G中，尽管水平切换被低估，但其数量仍然多于垂直切换。然而，在NSA 5G中，垂直切换多于水平切换。我们推断，这是因为NSA 5G基站的覆盖范围相对较小，且它们与4G基站共址，导致NSA 5G的覆盖在空间上不连续。其次，基于检测到的切换和§3.3中的统计数据，我们发现SA 5G中的水平切换频率（即6.4×10^6次，占8%的蜂窝日志）是4G中水平切换频率（即23.4×10^6次，占89%的蜂窝日志）的约3倍，尽管报告有效基站信息的SA 5G日志少得多，且SA 5G中的切换被严重低估。我们断言，SA 5G用户的水平切换频率比4G用户高得多。

Impact of Handover on Rebuffers

接下来，我们研究了切换对卡顿频率的影响。对于任意两条连续的日志，如果它们的网络类型或基站不同，则表明发生了切换。我们通过前一条日志计算切换前的平均卡顿频率，并通过后一条日志计算切换后的平均卡顿频率。结果如图13所示，图中还绘制了不同网络类型的平均卡顿频率作为比较基准。

我们发现，切换前的卡顿频率已经高于相应的基准值。我们推断，这是因为用户在切换前处于蜂窝小区的边缘，因此可能遭受较差的信号强度或高干扰[27]，从而导致更高的卡顿频率。

对于垂直切换，按卡顿频率增加的百分比排序，NSA 5G与4G之间的切换在三大运营商中始终排名前两位，这意味着它们引起的卡顿频率增加最少。特别是在中国电信中，从NSA 5G切换到4G甚至导致卡顿频率下降4%。这可能是因为NSA 5G仍然使用4G基站作为控制面，因此发生中断的可能性较小。

另一方面，涉及SA 5G的垂直切换使卡顿频率增加了35%∼113%，在所有运营商中排名最后四位。这可能是因为它们在控制面上需要更复杂的程序来克服“代际差距”[7, 35]。

对于水平切换，SA 5G中的水平切换使卡顿频率增加了23%∼42%，

而4G中的水平切换增加了28%∼56%

NSA 5G中的水平切换增加了48%∼82%。

因此，我们得出结论，SA 5G提高了可靠性，并对水平切换具有更好的“切换容忍性”。

5.3 SA 5G: Not Always More Power-Consuming

由于电池消耗已成为直播用户体验（QoE）的重要因素[40]，我们随后以电池电量作为指标，研究了用户的能耗情况。

公平比较的方法论：由于不同设备型号的电池容量差异较大，电池电量的比较应仅限于同一设备型号内。根据经验知识和锂离子电池的特性[37]，电池电量在接近满电或低电量时下降速度较非线性。因此，我们过滤掉电池电量过高（如>95）或过低（如<10）的日志，以及正在充电的日志。

许多因素可能影响能耗。从快手应用能够收集的数据来看，除了运营商和网络类型外，视频比特率（影响传输时长和功耗）、编解码模式（使用硬件还是软件，影响GPU和CPU的功耗）以及视频流的编码格式（如H.264或H.265，反映编解码过程的复杂性）都应被控制以确保公平比较。对于无法收集的其他因素（如屏幕亮度和后台应用），我们假设它们遵循相似的分布，因此如果收集足够多的数据，它们的影响可以被最小化。实际上，在我们的实验中，我们选择了2240万台设备，涵盖29款流行的5G设备型号，包括27款Android型号（1940万台设备）和2款iOS型号（300万台设备）。为了充分利用数据并减少随机性，我们使用线性回归进行进一步比较。以下案例展示了其合理性。

案例展示：我们首先在图14中展示了一个电池电量下降与直播/观看时长的案例，图中标注了固定条件。该图显示，在华为Mate30 Pro上，每种网络下的电池电量随时间线性下降。对于其他设备和设置，电池电量下降也很好地遵循线性趋势。因此，我们使用线性回归计算电池电量下降速率，这使得我们能够在不同网络或其他因素之间进行比较。事实上，在以下线性回归结果中，97.2%的决定系数（𝑅²）大于0.990，最小值为0.963。如此高的𝑅²值增加了结论的可靠性。在以下实验中，将继承案例中的设置。

我们希望验证或反驳一些传统观点：

5G总是比4G更耗电，且NSA 5G比SA 5G更耗电，因为NSA 5G需要同时连接4G和5G基站[11, 21, 44]；
在SA 5G中，较高的无线电频段比较低的频段更耗电[15]；
更高的传输速率可以缩小SA 5G与4G之间的效率差距[33, 44]。

不同运营商的能耗比较：中国的三大运营商目前各自仅部署了一个主要的5G无线电频段：中国移动使用2.6GHz，而中国联通和中国电信使用3.5GHz频段。我们通过比较不同运营商的能耗来验证第二条传统观点。

如图15(b)所示，每条曲线显示了SA 5G相对于中国移动的归一化电池电量下降速率。我们观察到，在29款设备型号中，有28款在中国电信网络下的能耗高于中国移动（高出0.1%∼15.2%），这表明无线电频段对功耗有重要影响。然而，尽管中国联通和中国电信共建基站并共享相似的频段，它们的能耗表现差异很大，这表明功耗性能不仅仅与无线接入网络相关。因此，第二条传统观点也并不总是成立。

不同视频比特率的能耗比较：在图15(c)中，我们研究了视频比特率对功耗的影响，以验证第三条传统观点。图中的点是不同比特率水平下SA 5G与4G的能耗差距，定义为(𝑘SA − 𝑘4G)/𝑘4G，其中𝑘SA和𝑘4G分别是SA 5G和4G的电池电量下降速率。我们观察到，在29款设备型号中，有18款的最低比特率水平对应着最小的SA 5G-4G能耗差距，而随着比特率水平的增加，SA 5G-4G的能耗差距也随之增大。因此，第三条传统观点同样不成立。

总结：在实际使用移动网络的场景中，用户的能耗受多种因素影响，上述所有传统观点并不总是成立

六 CORE NETWORK PERFORMANCE

SA 5G部署的一个主要特点是控制面和用户面分离（CUPS），这使得用户面功能（UPF）能够更靠近用户[50]。在本节中，我们希望了解用户是否离互联网更近？如果是，离互联网更近是否有助于降低延迟？为了回答这些问题，我们首先分析traceroute结果并提取一些有用的字段。

对于每个traceroute任务，首先提取域名、用户的运营商以及用户与目标服务器之间的往返时间（RTT）。为了进行地理位置分析，我们提取用户所在城市和服务器所在城市，服务器城市通过解析IP地址并结合ipip.net的数据集确定。此外，正如在§3.2中提到的，我们仅关注第一个互联网跳（即第一个具有公共IP的跳），并用它来估计网关（简称gw）。然后，我们提取网关所在城市（通过IP解析）及其跳数排名。我们在表3中总结了这些字段。

（简单说用于用于平面的网关是部署靠用户(无线网）还是服务器（核心网侧））

6.1 SA 5G Users are Closer to Internet

为了回答用户是否离互联网更近的问题，我们从两个维度对网关进行了研究。

第一个维度是测量网关跳数（gw-hop），

它代表了用户与互联网之间的“网络距离”。然而，中国的5G用户和网络部署可能存在偏差，即发达城市的用户和部署更多，而发展中城市或偏远地区的用户和部署较少，这意味着5G用户在地理上可能更接近互联网服务器，因为互联网服务器也倾向于更多地部署在发达城市。受[23]的启发，为了排除分布偏差的影响，我们首先分别计算每个城市中SA 5G和4G的平均gw-hop，然后过滤掉那些仅在SA 5G或4G中获得结果的城市。以中国移动用户和域名ks.push.yximgs.com为例，我们在图16中绘制了平均gw-hop的累积分布函数（CDF）。我们发现，在SA 5G中，超过97%的城市平均可以在6跳内到达互联网，而4G的这一比例仅为71%，这表明SA 5G网络用户离互联网更近。此外，我们发现SA 5G的曲线在gw-hop=4和gw-hop=5时急剧上升，这意味着在不同路径中，估计的网关通常出现在第4跳或第5跳。这表明估计的网关指的是每条路径中的某个特定组件。

对于第二个维度，我们检查网关是否位于用户所在的城市。

为了避免用户分布可能带来的类似偏差，我们首先根据用户和服务器是否位于同一城市将数据分为两部分，然后计算每个城市中网关与用户位于同一城市的比例，最后对所有城市的比例进行平均。如表4所示，我们观察到无论用户和服务器是否位于同一城市，SA 5G的比例都高于4G，这意味着SA 5G比4G更有可能通过本地网关为用户提供服务。

6.2 Shorter Gateway-Server Distance Leads to Lower RTT

接下来，我们研究了更靠近用户的网关是否总能帮助减少用户到服务器的往返时间（RTT），这与许多用户体验（QoE）指标相关。由于RTT与连接路径的线性距离有关[39]，我们特别研究了在总距离（定义为用户到网关距离与网关到服务器距离之和）相似的情况下，RTT与用户到网关距离（即u-gw距离）以及RTT与网关到服务器距离（即gw-s距离）之间的关系。

在表5中，我们展示了通过线性回归得到的每个距离组中RTT与u-gw距离和gw-s距离的斜率。我们发现:

当总距离超过300公里时，SA 5G中的RTT与u-gw距离呈负相关，而与gw-s距离呈正相关，而4G则表现出几乎相反的模式。这一结果表明，数据包在5G核心网络中的传输速度可能比在互联网中更快。这表明，在SA 5G中，如果服务器离用户较远，通过本地网关将用户流量路由到互联网可能会增加RTT，因为它缩短了u-gw距离却延长了gw-s距离。更好的选择可能是将流量保留在核心网络中，直到在靠近服务器的UPF处将其路由到互联网。

另一方面，如果服务器离用户较近，SA 5G可以通过本地网关将流量路由到互联网，从而获得更多优势。这一观察结果和路由建议也与§4.3中关于广播者到观众延迟的结论一致：较长的互联网距离会削弱5G的优势。

七 DISCUSSION AND ENHANCEMENT

7.1 Discussion and Guidelines

关于延迟（For the delay,）：我们测量了连接建立延迟、广播者到观众的延迟以及基于traceroute的RTT（往返时间）。与4G相比，NSA和SA 5G都减少了延迟，而SA 5G的延迟远低于NSA 5G。同时，由于UPF（用户面功能）更靠近用户，SA 5G能够更好地利用分布式服务器的优势。

关于带宽（For the bandwidth,）：我们测量了全国范围和小范围内的下载速度。尽管SA 5G的下载速度远高于4G，但仍低于理论容量。随着蜂窝用户数量的增加，SA 5G的全国范围和全网下载速度都会下降。这让我们思考另一个问题：随着5G用户数量的增加，是否存在一个最佳比例𝛼（𝛼<1），使得在每个网格中，当𝛼的用户连接到SA 5G而（1−𝛼）的用户连接到4G时，每个蜂窝用户都能获得最佳的QoS（服务质量）/QoE（用户体验）？在我们的数据集中，单个网格内的SA 5G用户数量不足，因此我们将此问题留作未来研究。

关于可靠性：我们测量了整体卡顿比例以及切换对卡顿频率的影响。与4G相比，SA 5G的卡顿比例更小，并且对水平切换的容忍性更好。与此同时，NSA 5G甚至可能在4G的基础上加剧卡顿比例。关于切换频率，我们发现4G和SA 5G的水平切换比垂直切换更为频繁，而SA 5G用户可能比4G用户经历更频繁的切换。

关于能耗：我们的测量结果反驳了一些传统观点。能耗性能与5G SoC（系统级芯片）高度相关，在某些场景下，SA 5G的能耗可能低于4G。

关于局限性的讨论：

对5G参与者的建议：基于上述讨论，我们为内容提供商和行业其他关键参与者提供了一些建议，以帮助他们迎接5G时代。

对于内容提供商和CDN提供商：

对于手机厂商和5G SoC制造商：

7.2 Potential Improvement: a Trial Study on 5G-aware Rebuffer Strategy

关于局限性的讨论：
在我们的测量中，我们没有进行严格的A/B测试，因为在一个服务于真实用户的在线系统中，这种测试成本高昂且难以实现。相反，我们充分利用了收集到的大规模数据集，并构建子数据集以实施准实验，从而保证了结论的可靠性。
由于操作系统的限制或隐私问题，我们无法获取快手应用内外的某些其他因素，例如后台流量和应用、屏幕亮度等。这可能会对分析（尤其是能耗分析）产生影响。然而，准实验和庞大的用户数量弥补了这一缺陷，这一点也可以从结果中看出：较高的决定系数，以及某些系列的5G SoC在不同型号中表现一致的观察结果。
从延迟性能的角度，我们建议将服务器（包括源服务器、转码服务器和CDN服务器）部署在更靠近用户的位置，例如与UPF（用户面功能）共址。此外，随着更多用户能够在SA 5G中本地访问互联网，用户的服务选择策略可能需要调整，地理信息应被视为更重要的因素。这是因为在4G中，来自偏远地区的蜂窝流量可能需要路由到省会城市的互联网，导致城市粒度的地理信息失效；而在5G中，本地UPF增加了地理信息的重要性。
从带宽性能的角度，由于当前带宽利用率不足，我们鼓励内容提供商提供更高比特率的流媒体。此外，切换部分的结果为内容提供商提供了研究无线接入技术（RAT）选择策略的机会。由于向SA 5G的垂直切换通常会立即增加卡顿概率，但从长期来看有望减少卡顿，因此应根据用户或应用特定的因素（例如用户的移动模式、会话的预期持续时间等）合理制定RAT选择决策。
为了提供更低的延迟，我们建议在UPF处精心设计路由策略，例如将流量路由到本地目标服务器的互联网，而将流量路由到远程目标服务器的另一个UPF。此外，鉴于中国联通和中国电信共享基站和相似的5G频段，它们在可靠性表现上的差异表明中国电信仍有优化空间。
由于某些系列的5G SoC在能耗表现上优于其他系列，我们建议进一步优化以减少全场景SA 5G的能耗。

SA 5G 展现了更好的可靠性和更高的传输能力，这意味着更快的故障恢复和恢复后的流畅播放。然而，我们发现不同网络中单次卡顿的平均持续时间非常相似，这表明 SA 5G 在卡顿期间的表现可能并没有显著提升，应用程序可能未能充分利用 SA 5G 的优势。

在快手中，当前的卡顿策略基于固定的“水位线”（例如 2 秒）：一旦发生卡顿，播放器会持续等待，直到缓冲长度超过水位线(water mark)。然而，这对 SA 5G 来说可能过于保守：

一旦从卡顿中恢复，SA 5G 会再次展现出更好的可靠性和更高的带宽。我们认为，自适应水位线策略可以更好地利用 SA 5G 的能力：

水位线（water mark） 𝑊 初始化为默认的 100 毫秒；
一旦发生卡顿，𝑊 会按系数 𝛾（𝛾 ∈ (0, 1)）减少（𝑊 ← 𝑊 × 𝛾），并在播放恢复后按步长 𝛽（以毫秒为单位）增加（𝑊 ← 𝑊 + 𝛽）；
为了避免在网络条件较差时频繁卡顿，减少步长仅在上次卡顿发生超过 𝑀 秒（例如 20 秒）后应用。该策略如图 17 所示。

在我们的 A/B 测试中，除了使用固定水位线的基线组外，我们还选择了 𝛾 和 𝛽 的两组设置，如表 6 所示：

即中等组和激进组

。对于每组，我们在 2022 年 1 月连续 18 天对约 300 万用户应用了相应的策略。如表 6 所示，与基线相比，我们的策略可以将 SA 5G 中的卡顿比例减少 4%∼7%，并将由卡顿引起的广播者到观众的延迟减少 4%∼10%。这一试验表明，应用层优化有助于更好地利用 5G 的优势，并且这种优化方向对内容提供商来说是切实可行的。

八相关工作

在5G网络上进行的研究。Parvez等人[34]将新技术分为三个部分：

无线接入网（RAN）优化、核心网优化和缓存优化。

基于校园内的实地测试，Xu等人[44]发现，尽管5G网络预期能提供更高的吞吐量和更低的延迟，但在2019年第一阶段的部署中，其覆盖范围、室内外差距以及切换性能相较于4G并没有太大优势。Narayanan等人[31]通过实地测试对美国非独立组网（NSA）5G进行了主动测量，发现毫米波5G对环境变化（例如视线中的障碍物）非常敏感，并且5G在网页浏览性能上的优势与页面大小高度相关。Narayanan等人[33]随后测量了低、中、高频段的5G性能，包括独立组网（SA，仅在低频段）和非独立组网（NSA）；特别是，他们指出，现有的自适应比特率视频流策略在毫米波5G网络中表现不佳，原因是带宽预测不准确。

Narayanan等人[32]旨在预测5G网络中毫米波的吞吐量，并提出了一个机器学习框架，使用包括物理层信息和上下文因素在内的输入来预测5G吞吐量。Li等人[27]表明，5G网络的可靠性并不总是与接收信号强度正相关，他们提出了一种基于信号强度的4G和5G无线接入技术（RAT）选择策略。Xie等人[43]表明，使用物理层感知的传输协议有助于检测网络瓶颈，指导TCP拥塞控制。

8.2 众包直播

众包直播变得越来越流行，因为移动网络可供越来越多的人使用。Zhang等人[47]研究了用户行为，包括观看模式和流媒体的流行度。Xu等人[45]对流行的视频点播（VOD）服务进行了详细的测量研究，以全面了解这些服务的设计和性能。Zhu等人[49]建立了一个框架来测量上行传输路径。为了提升视频流的体验质量，Ray等人[36]提供了一种直播上传解决方案，通过选择性质量增强重传，改善了不同时移观众的总体体验质量。

九 CONCLUDING REMARKS

随着众包直播的日益普及以及独立组网（SA）5G的部署规模扩大和用户数量的增

1 ，我们从内容提供商的角度对商用5G的服务质量（QoS）和体验质量（QoE）指标进行了大规模测量研究。

2 基于其中一个最大的众包直播平台，我们开发了一种基于切片的数据收集机制，且不影响用户的体验质量。通过从快手应用程序被动收集的数据以及通过traceroute进行的主动测量，我们全面研究了端到端性能、无线接入网和核心网性能，重点关注四大QoS/QoE问题：延迟、带宽、可靠性和能耗。我们还为内容提供商及其他5G参与者提供了见解和指导。

3 我们提出了一种简单但有效的重缓冲策略，在实际部署中帮助将SA 5G的重缓冲比例降低了7%，为内容提供商进一步优化应用层提供了可行性。