DeepConf: Automating Data Center Network Topologies Management with Machine Learning

最新推荐文章于 2022-08-21 17:32:57 发布

苗苗_code

最新推荐文章于 2022-08-21 17:32:57 发布

阅读量305

点赞数

分类专栏： paper 拓扑

本文链接：https://blog.csdn.net/u014204698/article/details/101534109

版权

paper 同时被 2 个专栏收录

4 篇文章 0 订阅

订阅专栏

拓扑

1 篇文章 0 订阅

订阅专栏

public by sigcomm2018 NETAI

原：DeepConf: Automating Data Center Network Topologies
Management with Machine Learning

译：Conf:基于机器学习的数据中心拓扑自动化管理

作者：Saim Salman, Christopher Streiffer, Huan Chen, Theophilus Benson, and Asim Kadav.

from：Brown University，Duke University，UESTC，Brown University，NEC Labs

摘要：

近几年，为了改进数据中心网络的性能和效率已经开发了许多技术。虽然这些技术提供高精确度，但是这些技术通常使用工作负载和硬件这些特殊领域的属性来进行启发式设计。
在这版本的文章中，我们讨论了许多数据中心网络技术，例如路由，拓扑扩展节能，为不同的目标分享相似的设计和架构。我们通过使用深度学习为开发网络拓扑的中间表示，提出一种能够解决数据中心中大量问题的架构。我们称之为DeepConf，通过使用我们提出的中间表示法去学习任务，简化了配置和深度学习的训练代理过程。为了阐述我们算法的优势，在处理数据中心拓扑扩展的问题上，我们对DeepConf-agent进行实施和评估。根据初步结果表明，我们的设计与目前最好的算法相比，是具有优势的。

关键字

数据中心网络，深度强化学习，拓扑管理

介绍

在互联网系统中，数据中心网络是重要组成部分。它的性能直接影响从网页浏览、视频观看到物联网等各种各样的服务。例如数据中心的低性能可以导致价值4百万美元的收入损失。由于数据中心网络的重要，所以网络已经探索新技术来提升和管理数据中心网络，例如设计更好的路由或者流量工程算法，用有限的灵活链路丰富固定拓扑，删除来自拓扑的损坏和未充分利用的链路。
无论什么样的算法，这些定向拓扑技术包括三个共同点：1）每一个都可以格式化成为线性优化问题或者整数线性优化问题；2）由于解决这些优化问题是不切实际的，所以只能采用贪婪启发式算法寻求近似解；3）这些启发式算法大多不能进行泛化，因为他们与高层的应用模式和技术有着复杂的约束。特别是，决定最佳线路，最佳位置增加扩展链路，或者在多样化和快速发展的条件下删除链路（损坏，为充分利用的链路）留下最佳的链路集是具有挑战的（NP难问题）。现有的特殊领域的启发式算法性能不太理想，并且局限于特殊领域。因此作为一个小的团体，每次发生小的变化时，我们都需要重新设计算法。相似问题，却有两套启发式解决方案。
在本版本文章中，我们的愿景是用一个更通用的基于机器学习(ML)的模型取代拓扑管理领域特定的基于规则的启发式，该模型能够快速学习一类问题的最优解决方案，同时适应应用程序模式的变化，动态网络和底层网络细节。不像最近的尝试使用机器学习学习点解决方案，例如簇调度或者路由。在本篇文章中，我们呈现了一个通用的框架，DeepConf，它简化了通过使用机器学习算法设计处理广泛的DCN拓扑问题的过程，以及消除了与有效培训新模型相关的挑战。
挑战：
- 解决对大量监督数据的深度学习需求和这些所需数据集不可用之间的矛盾
- 设计通用，高准确度的基于深度学习的并且能够有效地概括为学习广泛的数据中心问题，从拓扑管理和路由到节能的模型，（不容易）
可以通过平行的卷积层使用网络数据生成中间特征（例如，传输矩阵）是DeepConf的重要所在，并且允许我们生成网络中间状态，能够增强数据中心问题的广泛性。甚者，尽管对于机器学习标注生产数据是难以获得的，实证研究表明现代数据中心流量是高度可预测，适合使用网络模拟器和历史数据进行离线学习。
DeepConf通过深度学习技术---根据经验并没有任何关于网络工作的假设
DeepConf架构包括四部分：
- 使用中间表示形式的预定义的RL模型；
- 用于配置此模型以解决不同问题的特定设计；
- 优化的模拟器（能够高效的学习）；
- 用于捕获网络数据和重新配置网络的SDN平台
贡献如下：
- 提出一个新颖的基于SDN平台的深度学习架构，为广泛的DCN任务开发和训练深度机器学习模型
- 为DCN设计了一种新颖的输入特征提取方法，用于在这种网络状态的中间表示中开发出不同的机器学习模型
- 实现了一种处理拓扑扩展问题的DeepConf-agent，并在有代表性的拓扑和踪迹下进行了评估，结果显示我们的方法与最有算法性能相当。

背景

数据中心---挑战和解决方案
挑战：拓扑计算和路由算法，虚拟机布置和节能技术----数据中心支持具有时变带宽需求的各种工作负载和应用程序
- 扩充体系结构：热点数量有限，无需使用非拥塞拓扑，并且支持少量链路扩展
- 流量工程：路由--将拥挤的链路换到非拥挤链路，没有改变拓扑
- 节能：低检测周期和选择性关掉链路，但是需要在有需要该链路时提前打开该链路

具有相同设计---三部分：聚集网络流量矩阵；运行ILP算法预测使用情况；在网络子集上执行特定的操作（扩展灵活链路，关掉链路，移动流量）

强化学习---背景
- 强化学习算法根据反馈值进行训练
- 强化学习过程
- A3C算法

愿景

通过利用DeepRL实现数据中心管理和操作自动化。
- 高层：多个DeepRL代理，每个代理都训练特定任务集，例如流量工程、节能或者拓扑扩展
- 每个代理是SDN中的应用程序
- SDN有为应用收集网络状态的接口和执行操作的机制
DeepRl高层中有三部分：
- 网络模拟器：离线训练
- DeepConf抽象层：用于促进DeepRL代理与网络之间通信的
- DeepConf-agents：DeepRl代理，压缩数据功能

应用学习
- 挑战：
  - 训练数据不足
  - 缺乏模型和损失函数，无法精确地对问题进行建模并推广到未预料的情况
- 应对：通过使用模拟器生成数据进行模型训练
DeepConf抽象层
特殊域模拟器：原始SDN基本上使用mininet仿真，但是规模小，所以可以使用增量模拟
目标：
- 在拓扑，流量矩阵和一些列操作设置（例如链路故障）之间进行推广，
- 精确且有效
- 低开销：最小化时间或最大化TCAM利用率。

设计

数据中心网络管理技术定义为深度学习任务，并且结构化
描述DeepConf-agents
- 四部分组成：状态空间（通用）、行为空间、学习模型（通用）和反馈函数
- state space：
  - 最近t秒内的流量矩阵情况
  - 特定状态空间：用来捕获在网络中影响动作的状态因素
- 学习模型：
  - 卷积神经网络
- 网络训练
- 模拟器与DeepConf-agent交互
  - 步骤：
    - 在训练步数t,DeepConf-agent获得来自模拟器的状态St
    - DeepConf-agent通过状态信息做决策，并且返回动作给仿真器
    - 如果拓扑有所改变，则仿真器重新计算活跃的路径
    - 模拟器执行该流x秒
    - 模拟器返回当前时刻反馈值和下一时刻的状态给DeepConf-agent
    - 重复过程
  - 初始化：随机根据概率选择动作，高概率，高选择
  - 学习优化：
    - loss函数：
    - 优化器：Adam

使用case：拓扑扩展

定义：数据中心由一个分组交换机的分层拓扑结构和一个总交换机组成，连接着所有机架交换机。总交换机只能连接有限的链路，拓扑规则定义如下：
- 模型必须选择K条链路，在模拟中按照给定步骤激活
- 模型根据链路利用率和流持续时间获得奖励
- 每个链路持续x秒后按奖励收集
- 所有流都使用等成本多路径路由(ECMP)进行路由
状态空间：稀疏矩阵表示网络拓扑
动作空间：最优的路径选择中选择最高值的链路去添加到网络拓扑中
反馈：最大化链路利用率和最小化平均链路完成传输时间：reward function：

评估

评估DeepConf在典型的拓扑中实际的工作负载情况
实验配置
- 数据中心拓扑
  - k=4的胖树结构
  - VL2
- 捕捉数据：完成传输时间（第一个包到最后一个包）
- 添加一个带有4个链路的交换机去拓扑上述两种拓扑结构
- 和最优解进行比较
模型学习
- 自动调整决策
- 完成时间与最优解相近