文献阅读记录2--DRL-OR: Deep Reinforcement Learning-basedOnline Routing for Multi-type Service Requirement-CSDN博客

本文链接：https://blog.csdn.net/lyhaoyuhangyuan/article/details/144286035

一、预备知识

1. 路由生成过程多智能体马尔可夫决策过程（MAMDP）：

这种方法的核心思想是将网络中的每个设备或节点视为一个智能体，它们能够根据当前网络状态做出决策，以选择最佳的路由路径。
这种方法特别适用于动态变化的网络环境，其中网络流量和节点状态不断变化，需要实时调整路由策略以优化网络性能。
在多智能体MDP框架下，每个智能体（即网络中的每个节点）都遵循一定的策略来选择动作，这些动作会影响到网络状态的转移和奖励的获取。在这个过程中，智能体的目标是最大化累积奖励，这通常对应于优化网络性能，比如最小化延迟、最大化吞吐量或平衡网络负载。

2. 深度神经网络DNN的工作过程：

输入层：流量的源节点、目的节点、服务类型、网络状态等信息作为输入。
通用特征提取层：对输入的网络状态和流量特征进行处理，提取出通用特征，适用于所有流量类型。
专用输出层：根据流量的具体类型（如延迟敏感型、吞吐量敏感型等），将通用特征输入到对应的专用输出层，产生具体的路由决策。

3. 效用函数（Utility Function）的作用:

效用函数的作用是衡量每个流量的QoS（质量服务）需求是否得到了满足，并为不同的流量类型赋予不同的优先级。在DRL-OR中，流量被分为多个类型，每个类型都有不同的性能指标需求，例如延迟、吞吐量、丢包率等。效用函数通过这些性能指标来评价路由选择的质量，指导智能体做出最优决策。

4. DRL-OR与其他算法的比较

QoSR（Quality of Service Routing）：QoSR算法关注QoS要求，通常在延迟和吞吐量方面表现较好，但在处理Type IV流量（延迟-丢包率敏感型流量）时会产生较高的丢包率。
LBR（Load Balancing Routing）：LBR算法注重负载均衡，能有效减少拥塞，但无法为延迟和吞吐量敏感型流量提供最优的QoS。
SPR（Shortest Path Routing）：SPR选择最短路径进行路由，虽然简单但忽视了QoS需求，通常在拥塞或负载较高时效果不佳。

二、论文部分

题目：DRL-OR：基于深度强化学习的多类型业务需求在线路由

创新点：

首次将深度强化学习应用于多类型服务需求的在线路由优化，实现了动态环境中的多QoS优化。

提出了安全在线学习框架，平衡了探索与安全性，增强了算法的可靠性。

设计了部分共享、部分专有的策略网络结构，兼顾训练效率和个性化需求。

验证了算法在部分部署和完整部署场景中的适用性。

通过多智能体协作学习提升了分布式路由优化的能力。

Abstract

提出了一种基于多智能体深度强化学习的在线路由算法（DRL-OR），DRL-OR通过组织智能体以逐跳的方式生成路由，采用了全面奖励函数、高效学习算法和新颖的深度神经网络结构
为了确保可靠性并加速在线学习过程，DRL-OR进一步引入了安全学习机制
在SDN架构下实现DRL-OR，并使用基于Mininet的实验，使用真实的网络拓扑和流量跟踪进行测试