Neural adaptive video streaming with Pensieve

于 2022-05-14 16:56:03 发布
阅读量1.8k 收藏 2
点赞数 2
分类专栏： python 文章标签： 音视频 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hch977/article/details/124770573
版权

what is adaptive bitrate streamer?

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cF06RqiB-1652518411984)(C:/Users/hch/AppData/Roaming/Typora/typora-user-images/image-20220427084658764.png)]

  1. 设备采集视频，并通过编码器编码上传视频流（camera，encoder）

  2. 媒体服务器上的转码器对视频转成不同的码率，发送到cdn网络，存储到边缘服务器上

  3. 转码（需要大量资源）

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-r6wz4SCV-1652518411986)(C:/Users/hch/AppData/Roaming/Typora/typora-user-images/image-20220427102647022.png)]

  4. 打包压缩音频和视频（转换、重新包装或打包），比如通常是h.264视频和aac音频，重新打包它，装入不同的管道中，就好像一封信装入多个不同的信封进行发送，其中manifest向播放器可以指明使用什么解码（不需要什么硬件资源）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RKU1QAQs-1652518411987)(C:/Users/hch/AppData/Roaming/Typora/typora-user-images/image-20220427102403593.png)]

是这个阶段

  1. ABR

    pensieve上的

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-99ngUv8l-1652518411987)(C:/Users/hch/AppData/Roaming/Typora/typora-user-images/image-20220427150819452.png)]

    当今通过 HTTP 流式传输视频的端到端流程。 如图所示，嵌入在客户端应用程序中的播放器首先向视频服务提供商发送令牌以进行身份验证。 提供商使用清单文件进行响应，该文件将客户端定向到托管视频的 CDN 并列出视频的可用比特率。 然后，客户端使用自适应比特率 (ABR) 算法逐个请求视频块。 这些算法使用各种不同的输入（例如，播放缓冲区占用率、吞吐量测量等）来选择未来块的比特率。

    youtube上讲的：abr考虑更多方面

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来sssssssss直sss上sss(img-ZBvUIVGZ-1652518411988)(C:/Users/hch/AppsDsastasRsoaming/Typora/typora-user-images/image-20220427102s65s75.pns量级别），缓冲有多大，填充缓冲区的速度有多快…

pensive 认为ABR的不足

ABR采用简化不准确的固定控制规则（没用AI），不可避免地无法在广泛的网络条件和qoe目标中实现最佳性能。

pensive的成果

  1. pensive是网络调控领域第一个用深度强化学习的（2017）

  2. Pensieve 都优于最先进的方案abr，平均 QoE 提高了 12%–25%

  3. pensive对于不同网络条件采用一种数据驱动的手段

pensive的挑战

  1. 网络吞吐量的多变性，网络状况可能会随着时间的推移而变化，并且在不同的环境中可能会发生显著变化。这使得比特率选择变得复杂，因为不同的场景可能需要不同的输入信号权重。例如，在时变蜂窝链路上，吞吐量预测通常不准确，无法解释网络带宽的突然变化。不准确的预测可能会导致网络利用率不足（视频质量降低）或下载延迟（拒绝）。为了克服这一点，ABR算法必须优先考虑更稳定的输入信号，比如这些场景中的缓冲区占用。

  2. 视频qoe的冲突（高比特率，少卡顿，流畅性），最大化视频质量（即最高平均比特率）、最小化重新缓冲事件（即客户端播放缓冲区为空的情况）以及保持视频质量平滑度（即避免恒定的比特率波动）。然而，其中许多目标本质上是相互矛盾的

  3. 比特率决策也会影响后面（选择高比特，可能会导致后面重新缓冲）

  4. abr决策的粗粒度特性,存在这样的情况：估计吞吐量略低于一个比特率，但远高于下一个可用比特率。在这些情况下，ABR算法必须决定是优先考虑更高的质量还是重新缓冲造成卡顿的风险

相关工作

  1. 最先进的方法 MPC [51] （2017pensieve之前）通过在几个未来块的范围内解决 QoE 最大化问题来做出比特率决策。通过直接针对所需的 QoE 目标进行优化，MPC 可以比使用固定启发式的方法表现得更好。然而，MPC 的性能依赖准确预测模型，尤其是对未来网络吞吐量的预测。（预测不准，什么都无）正如我们的实验所示，这使得 MPC 对吞吐量预测误差和优化范围的长度很敏感

基于强化学习的好处

Pensieve can learn how much playback buffer is necessary to mitigate the risk of rebuffering in a specific network, based on the network’s inherent throughput variability. Or it can learn how much to rely on throughput versus buffer occupancy signals, or how far into the future to plan its decisions automatically

根据网络固有的吞吐量可变性，Pensieve可以了解需要多少播放缓冲区来减轻特定网络中的重新缓冲风险。或者它可以了解在多大程度上依赖于吞吐量与缓冲区占用信号，或者在未来多长时间内自动计划其决策

pensive模型[待更新，正在学actor-critic]

A3C actor-critic RL algorithm

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w7OoXRAI-1652518411988)(C:/Users/hch/AppData/Roaming/Typora/typora-user-images/image-20220427152156575.png)]

github

hongzimao/pensieve: Neural Adaptive Video Streaming with Pensieve (SIGCOMM '17) (github.com)

云霞川
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Live Streaming Paper--流媒体超低时延传输论文汇总
无人机飞啊飞啊飞
08-31 1182
文章目录会议论文期刊论文 会议论文 年份 会议 论文名称 备注 2019 INFOCOM Intelligent Edge-Assisted Crowdcast with Deep Reinforcement Learning for Personalized QoE QOE的个性化匹配,核心在于QOE公式的推导,时延是关键 2019 ICC GCC-β: Improving ...
如何看待Pensieve：MIT基于神经网络的流媒体码率自适应策略（周超）
滴墨成殇的博客
11-01 5106
写在前面 今年的SIGCOMM上， MIT CSAIL的一支研究团队，发表了一篇名为Pensieve的工作，即利用神经网络优化码率自适应算法，用于提高媒体传输质量。文章结果表明：与一般的state-of-the-art 方法相比，Pensieve能平均提升QoE高达12%–25%。之所以介绍这篇文章，基于以下几方面的原因：一是自己从事流媒体传输优化的研究多年，也小有成果，对这类研究自然非常感...
pensive_passport
05-10
＃沉思护照 Pensive Passport是一款旅行应用程序，可帮助优柔寡断的旅行者做出以数据为依据的决策。 用户选择旅行选项后，PP会收集机票，天气，生活费用和米其林星级数据。 基于此，PP的评分算法建议了一个初始目的地。 然后，用户可以调整食物/天气/费用的相对重要性，PP的算法将交互式地重新计算其目的地。 一旦感到满意，用户就可以通过选择一些著名的城市景点来探索“获胜”的城市，并仔细阅读PP的其他特色推荐。 ###技术堆栈 后端：Python，Flask，SQLAlchemy，Postgres Python库：nltk，scikit-learn，scipy 前端：JavaScript，jQuery，AJAX，Bootstrap API：Flickr，Google Flights，Google Maps，Google Places，World Weather Online，Wi
Adaptive Neural Control for Output Feedback Nonlinear
09-23
Adaptive Neural Control for Output Feedback Nonlinear
AdaBits Neural Network Quantization With Adaptive Bit-Widths.pdf
10-19
CVPR论文
Neural adaptive chaotic control with constrained input using state and output feedback
02-11
Neural adaptive chaotic control with constrained input using state and output feedback
Large-Scale Video Classification with Convolutional Neural Networks
08-06
论文：Large-Scale Video Classification with Convolutional Neural Networks
DASH标准&ABR算法介绍
Green Lv的博客
11-10 8428
作为HTTP视频流的标准传输方案，DASH已经在业界享有盛名，而其中的核心模块ABR算法，更是成为近些年来诸多学术论文的研究对象。本文详细介绍了DASH标准与ABR算法的核心内容，为初学者提供一个全面的roadmap。
Pensieve-PPO:通过最新的RL算法（包括DQN，A2C，PPO和SAC）最简单地实现Pensieve（SIGCOMM 17'）
05-06
盆式PPO 关于沉思-PPO 这是Pensieve [1]的一个简单的TensorFlow实现。 详细地说，我们通过PPO而非A3C培训了Pensieve。 这是一个稳定的版本，已经准备好训练集和测试集，并且您可以轻松运行仓库：只需键入 python train.py 反而。 将每300个时代在测试集（来自HSDPA）上评估结果。 实验结果 我们报告了熵权重β，奖励和熵的训练曲线。 通过双簧管网络轨迹评估结果。 提示：橙色曲线：pensieve-ppo； 蓝色曲线：pensieve-a2c 预训练模型 此外，我们还在添加了预训练模型 与原始Pensieve模型相比，该模型的平均QoE提高了7.03％（0.924-> 0.989）。 如果您有任何疑问，请随时告诉我。 [1] Mao H，Netravali R，Alizadeh M.带自适应神经网络自适应视频流[C] // ACM数据
论文阅读——通过模仿学习实现质量感知的自适应视频流（ABR）
liaojq2020的博客
12-18 761
一、文章出处 本文题为《Comyco: Quality-Aware Adaptive Video Streaming via Imitation Learning》，文章链接：原文链接，加载过程较慢容易出现问题，提供资源分享下载链接： 二、主要内容 文章提出一种通过模仿学习实现质量感知的 ABR 系统，称为Comyco，其系统基本工作流程示意如下图所示。 主要工作过程是通过 Instant Solver 得到 expert policy，将其传送给 Virtual Player 。Virtual Play
论文学习 | (MIT CS&AI Lab) Pensieve : 基于A3C的流媒体码率自适应策略
weixin_44874766的博客
05-05 2482
1 引言    近些年来，用户在线观看视频时追求越来越高的品质，这就要求我们找出更佳的流媒体传输策略。已有许多基于HTTP的视频流媒体传输方法。该论文的Pensieve策略就属于其中一种。在论文结论中，研究者提到这种算法相比ABR算法，能提升QoE指标12%-25%。 2 ABR(Average Bitrate)算法 要了解ABR，需要先了解CBR和VBR。 CBR（Constant Bitrate）,是采用固定比特率进行编码的方式，适应流式传输。但是当我们的图像压缩数据变大时，质量就会下降。因此这种方
LiveVideoStack文章阅读——Pensive：AI带来更流畅的高质量观看体验
VioletHan7的博客
08-31 767
麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)开发的基于机器学习的流媒体系统能更好的适应不同的网络条件，从而提供更加流畅的流媒体传输体验。 原文：http://news.mit.edu/2017/high-quality-online-video-with-less-rebuffering-pensieve-0814 我们在YouTube上观看视频时常会遇到两件非常令人不悦的事情...
Neural.Networks.with.R.epub
11-13
Uncover the power of artificial neural networks by implementing them through R code. About This Book Develop a strong background in neural networks with R, to implement them in your applications Build smart systems using the power of deep learning Real-world case studies to illustrate the power of neural network models Who This Book Is For This book is intended for anyone who has a statistical background with knowledge in R and wants to work with neural networks to get better results from complex data. If you are interested in artificial intelligence and deep learning and you want to level up, then this book is what you need! What You Will Learn Set up R packages for neural networks and deep learning Understand the core concepts of artificial neural networks Understand neurons, perceptrons, bias, weights, and activation functions Implement supervised and unsupervised machine learning in R for neural networks Predict and classify data automatically using neural networks Evaluate and fine-tune the models you build. In Detail Neural networks are one of the most fascinating machine learning models for solving complex computational problems efficiently. Neural networks are used to solve wide range of problems in different areas of AI and machine learning. This book explains the niche aspects of neural networking and provides you with foundation to get started with advanced topics. The book begins with neural network design using the neural net package, then you'll build a solid foundation knowledge of how a neural network learns from data, Table of Contents Chapter 1. Neural Network and Artificial Intelligence Concepts Chapter 2. Learning Process in Neural Networks Chapter 3. Deep Learning Using Multilayer Neural Networks Chapter 4. Perceptron Neural Network Modeling – Basic Models Chapter 5. Training and Visualizing a Neural Network in R Chapter 6. Recurrent and Convolutional Neural Networks Chapter 7. Use Cases of Neural Networks – Advanced Topics
【机器学习】机器学习系统SysML 阅读表
sinat_22510827的博客
11-02 916
SysML reading list Review A Berkeley View of Systems Challenges for AI https://arxiv.org/pdf/1712.05855.pdf Strategies and Principles of Distributed Machine Learning on Big Data https://arxiv.org/abs/1512.09295 Background Deep learning Nature volume 5
Pensieve复现及一些问题(1)
加油赚钱养辣辣
03-14 7344
Pensieve 第一步：利用setup.py 配置环境的文件 Install prerequisites (tested with Ubuntu 16.04, Tensorflow v1.1.0, TFLearn v0.3.1 and Selenium v2.39.0) import os start_dir = os.getcwd() # mahimahi print ('mahimahi begin') os.system("sudo sysctl -w net.ipv4.ip_forward
Pensieve：AI带来的更流畅的高质量观看体验
LiveVideoStack
06-13 2458
麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）开发的基于机器学习的流媒体系统能更好的适应不同的网络条件，从而提供更加流畅的流媒体传输体验。LiveVideo...
Live Streaming Datasets--流媒体视频数据集,网络数据集,仿真器统计与分析
无人机飞啊飞啊飞
08-29 881
文章目录论文分析视频数据集网络轨迹数据集仿真器真实平台 论文分析 年份 等级 论文名称 备注 2017 HotNets How will Deep Learning Change Internet Video Delivery? 内容感知的CDN视频传输,帧间编码,DNN 2017 NOSSDAV A Comparative Case Study of HTTP Adaptiv...
看高清视频，如何做到不卡顿？
CSDN资讯
06-13 6343
作者|阿里文娱高级无线开发工程师 去疾责编 | 屠敏5G时代，从生产端到播放端，超高清音视频将成为主流，如何让播放更加“智能”，让用户随时随地都有流畅观看体验，既“高清”又“不卡”？本...
【调研】DRL优化网络通信领域顶会及期刊
bajiaoyu517的博客
03-29 1413
一、通信类顶会及期刊 会议 A类 IEEE International Conference on Communications/ ICC/ IEEE通信国际会议 IEEEGlobal Telecommunications Conference/ Globecom/ IEEE全球电信会议 B类 International Conference on Telecommunications/　ICT/ 电信国际会议 IEEE Wireless Communicat
convolutional neural networks on graphs with fast localized spectral filtering
最新发布
06-28
### 回答1： 这句话的意思是，使用快速局部谱滤波在图上进行卷积神经网络。在这个过程中，图像被表示为一个图，节点表示像素，边表示它们之间的关系。然后使用谱滤波器来处理这些图像，以便更好地捕捉它们之间的关系。由于使用了快速局部谱滤波器，因此可以有效地减少计算量，并提高计算效率。 ### 回答2： 卷积神经网络（CNN）在计算机视觉领域中被广泛应用，而针对图像上的卷积运算也得到了很好的改进。但是，对于图结构数据，卷积操作却变得更加困难。近年来出现了一些新的关于卷积神经网络用于图结构数据的方法，如基于图卷积网络（GCN）等。本文要介绍的“convolutional neural networks on graphs with fast localized spectral filtering”，即基于图谱的局部快速滤波的卷积神经网络，是另一种针对图结构数据的卷积方法。 传统的CNN通常采用局部的、线性的滤波器来提取图像的空间特征。而对于图结构数据，由于图上两个节点之间的关系是任意的，以及节点的特征不一定是有序的，因此无法直接地应用局部的卷积操作。但是，与图结构数据相对应的，是一个特殊的函数——图谱，它提供了丰富的图结构信息。 图谱（即拉普拉斯矩阵）是一个对称的稀疏矩阵，反映了图结构和节点特征之间的关系。将图谱的特征值和特征向量作为滤波器，就可以将图上的卷积操作转化为图谱卷积的形式。尤其是，利用局部滤波器就可以实现对图上节点嵌入向量的快速计算。 该方法涉及到了图谱嵌入、拉普拉斯矩阵、小批量图谱卷积核的设计等方面的内容。其中，图谱嵌入是将图结构数据映射为一个低维向量表示的过程，具有降维和特征抽取的作用；拉普拉斯矩阵是反应了图结构的一类矩阵，与图谱嵌入有密切关系；在卷积核设计方面，考虑到图结构的多样性和规模，将设计小批量卷积核进行快速的局部卷积操作，以提高计算效率。 该方法的优点在于，可以处理任意结构的图像和非图像数据，并且具有较好的鲁棒性和泛化能力。是否可以进一步提高计算效率，仍需更多的研究来探索。 ### 回答3： 卷积神经网络是一种基于多层神经元的深度学习算法，被用于图像、文本和声音等领域。最近，学者们开始研究如何将卷积神经网络应用于图形数据，如社交网络、交通网络和化学分子。其中，卷积神经网络特别适合处理图形数据，因为它可以学习局部特征，并保持局部空间关系。因此，卷积神经网络在图形任务上取得了许多优秀成果。 然而，之前的卷积神经网络模型存在一些不足，比如缺乏设计可解释性、效率低下、过度拟合等。为了解决这些问题，一种新的基于谱滤波的图形卷积神经网络被提出，即convolutional neural networks on graphs with fast localized spectral filtering。 这种方法在卷积层引入了局部谱滤波器，能够提高模型的效率和可解释性。谱滤波器可以学习图形数据的空间结构特征，能够捕捉节点之间的相邻关系和密度。而局部谱滤波器则针对每个节点的邻居子图进行滤波，使模型能够更好地识别图形数据中的局部特征。 此外，该方法还能够解决过拟合问题。过拟合是神经网络经常遇到的问题，即模型在训练集上表现极佳，但在测试集上表现不佳。谱滤波器可以在输入数据中学习的特征不够显著时，利用图形数据的全局谱信息进行补充，并减少过拟合的发生。 总之，convolutional neural networks on graphs with fast localized spectral filtering是一种高效、可解释、稳定的图形卷积神经网络。此方法在实际应用中有很大的潜力，如社交网络分析、城市交通预测、生物学和化学分子分析等领域。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值