【论文阅读&复现】Edge Computing and Caching Optimization Based on PPO for Task Offloading in IoV

于 2024-10-28 10:55:19 发布
阅读量1.3k 收藏 26
点赞数 30
分类专栏： 论文阅读&复现 文章标签： 论文阅读 科研 IEEE 论文复现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43835470/article/details/143282053
版权

目录

论文简介

本文引用格式：

  • W. Zhao, C. Wu, R. Zhong, K. Shi and X. Xu, “Edge Computing and Caching Optimization Based on PPO for Task Offloading in RSU-Assisted IoV,” 2023 IEEE 9th World Forum on Internet of Things (WF-IoT), Aveiro, Portugal, 2023, pp. 01-06, doi: 10.1109/WF-IoT58464.2023.10539436. [paper],[code]

发表在WF-IoT会议，在RSU辅助IoV 场景中，使用PPO对缓存和计算卸载进行优化。

论文总结：

  • 这篇论文的主要内容是提出了一种基于**近端策略优化算法（PPO）的边缘计算与缓存优化方案，用于在路边单元（RSU）辅助的车联网（IoV）**中进行任务卸载。论文的关键要点如下：

1. 背景问题

  • 移动边缘计算（MEC）和边缘缓存技术被认为是增强自动驾驶的一种解决方案，但现有技术面临两个主要挑战：
    • 车辆请求不断变化，内容的流行度难以预测。
    • 现有的被动计算和缓存技术无法有效应对计算密集型和对延迟敏感的任务请求。

2. 解决方案

  • 为了解决上述挑战，作者提出了一种主动感知的边缘计算和缓存优化方案：
    • RSUs 主动感知可能会被车辆请求的任务，并根据预测的内容流行度进行计算和缓存。
    • 重点是选择合适的边缘计算和缓存节点，以最小化任务计算延迟并最大化缓存效益。

3. 技术方法

  • 作者将问题表示为0-1整数规划问题，并将其转化为马尔可夫决策过程（MDP）。
  • 为了解决该问题，他们使用了**深度强化学习（DRL）中的近端策略优化（PPO）**算法。
  • 该算法通过模拟和学习，逐步优化边缘计算和缓存决策，以减少长期平均计算延迟，并提高对车辆请求的响应率。

4. 系统模型

  • 系统由云服务器、多个RSUs和自动驾驶车辆组成，分别作为不同类型的计算节点。
  • RSUs在每个时间片主动感知道路环境，检测需要处理的任务，并进行缓存决策。
  • 内容流行度通过使用Hawkes模型进行预测，以提高缓存的命中率。

5. 实验结果

  • 通过仿真实验，验证了该方案在减少计算延迟和提高缓存命中率方面的有效性。
  • 实验结果表明，提出的方案在长期运行中有效减少了平均计算延迟，并且显著提高了对车辆请求的响应率，尤其是在缓存容量有限的情况下表现优异。

6. 结论

  • 论文提出了一种基于PPO的创新边缘计算和缓存方案，能够有效优化任务卸载，提升车联网环境中的系统性能。
  • 该方案不仅能够在动态环境中自适应调整，还能在任务卸载和缓存命中率之间取得平衡。

论文复现

  • 阅读github的readme文件，只需要装一下numpy 1.21.4和python 3.9.6环境哈，可能还会缺其他的包，到时在安装，readme的环境配置方面写的一般，告诉了要运行哪几个py文件，出图。

在这里插入图片描述

  • 本人使用了VScode+Anaconda配置python环境，每次复现论文的python环境不同，复现就新建一个，安装相应的版本及各种依赖包。
    在这里插入图片描述
    下面是复现后这个环境中需要配置的一些包的版本信息供参考：
    在这里插入图片描述
    VScode会遇到导入目录中其他python文件模块，找不到该模块的情况，需要将项目的源目录路径添加到执行环境，配置一下launch.json文件！
    在这里插入图片描述
{
    // 使用 IntelliSense 了解相关属性。 
    // 悬停以查看现有属性的描述。
    // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
        {
            "name": "Python: 当前文件",
            "type": "debugpy",
            "request": "launch",
            "program": "${file}",
            "console": "integratedTerminal",
            "justMyCode": false,
            "env": {
                "PYTHONPATH": "${workspaceFolder}"
            }
        }

    ]
}

GPT解决复现问题的部分截图

复现过程必然遇到困难，借助生成式人工智能、博客解决遇到的困难，关键还是在于你能否准确描述清楚你的问题让gpt理解，或匹配到相关的博客！

导入模块的路径问题（描述清楚具体的路径）：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 我觉得不够优雅，再次提问：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

推荐依赖包的版本

  • 由于其他包的版本不清楚，直接让gpt推荐了
    在这里插入图片描述
    在这里插入图片描述
  • 告诉你分为cpu和gpu版本，
    -在这里插入图片描述
  • 下载仍然出错，继续发问：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 继续让其推荐gym的版本：
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 报错，继续发问
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 路径问题是遇到的最多的，直接问：
    在这里插入图片描述
    在这里插入图片描述

run_object.py完整运行

原本的代码：

from run_this.run_methods_and_outputs.run_PPO import *
from utils import *

reward, ma_hit_rate, time, ma_all_hit_rate, args = run_ppo();

# 保存reward曲线
with open("./data/reward.txt", "a") as file:
    file.write(str(reward) + "\n")

# 保存hitrate曲线
with open("./data/hitrate.txt", "a") as file:
    file.write(str(ma_hit_rate) + "\n")

# 保存time曲线
with open("./data/time.txt", "a") as file:
    file.write(str(time) + "\n")

# 保存all hit ratio曲线
with open("./data/all_hitrate.txt", "a") as file:
    file.write(str(ma_all_hit_rate) + "\n")

plot_rewards(reward, args, tag="train")  # 画出结果
plot_hit_rate(ma_hit_rate, args, tag="train")
plot_time(time, args, tag="train")
plot_all_hit_rate(ma_all_hit_rate, args, tag="train")

他的这个路径我也是无法读取，其次，这个代码跑一次出图，但数据又没有保存，我想保存数据，直接画出上一次跑的结果的功能无法实现，每次想出图就得重跑仿真，所以修改了代码，方便保存数据，需要直接出图就直接读取数据，需要重新仿真的就选择重跑！修改后的代码如下：

import os
import pickle  # 用于保存和读取 args
import ast

from run_methods_and_outputs.run_PPO import *
from utils import *

# 定义读取数据的函数
def read_data(file_path):
    if os.path.exists(file_path) and os.path.getsize(file_path) > 0:  # 确保文件存在且不为空
        data = []
        with open(file_path, "r") as file:
            for line in file:
                stripped_line = line.strip()
                print(f"Reading line: '{stripped_line}'")  # 打印每行内容
                if stripped_line:  # 确保行不是空的
                    try:
                        # 使用 ast.literal_eval 将字符串解析为 Python 列表
                        parsed_list = ast.literal_eval(stripped_line)
                        
                        # 检查解析后的内容是否为列表，并且其中的元素都是浮点数或整数
                        if isinstance(parsed_list, list):
                            # 将列表中的每个元素转换为浮点数并添加到 data 中
                            data.extend([float(x) for x in parsed_list])
                        else:
                            print(f"Warning: Parsed content is not a list: {parsed_list}")
                    except (ValueError, SyntaxError):
                        print(f"Warning: Could not convert line to list: '{stripped_line}'")
        print(f"Data read: {data}")
        return data if data else None  # 如果读取到有效数据则返回，否则返回 None
    else:
        print(f"File {file_path} does not exist or is empty.")
        return None
    

# 定义读取和保存 args 的函数
def save_args(args, file_path):
    with open(file_path, "wb") as f:
        pickle.dump(args, f)

def load_args(file_path):
    if os.path.exists(file_path):
        with open(file_path, "rb") as f:
            return pickle.load(f)
    return None

# 获取当前脚本所在的目录
base_dir = os.path.dirname(os.path.abspath(__file__))

# 构建 data 目录的绝对路径
data_dir = os.path.join(base_dir, "data")

# 确保 data 目录存在
os.makedirs(data_dir, exist_ok=True)

# 构建文件路径
reward_file_path = os.path.join(data_dir, "reward.txt")
hitrate_file_path = os.path.join(data_dir, "hitrate.txt")
time_file_path = os.path.join(data_dir, "time.txt")
all_hitrate_file_path = os.path.join(data_dir, "all_hitrate.txt")
args_file_path = os.path.join(data_dir, "args.pkl")  # 保存 args 的文件路径

def run_or_load_data(force_run=False):
    # 读取已有数据
    reward = read_data(reward_file_path)
    ma_hit_rate = read_data(hitrate_file_path)
    time = read_data(time_file_path)
    ma_all_hit_rate = read_data(all_hitrate_file_path)
    args = load_args(args_file_path)  # 尝试读取保存的 args
    
    # 如果文件不存在或强制要求重跑，运行 run_ppo() 生成数据
    # 如果文件不存在或强制要求重跑，或者读取的数据无效，运行 run_ppo() 生成数据
    if force_run :
        print("Running PPO to generate data...")
        reward, ma_hit_rate, time, ma_all_hit_rate, args = run_ppo()

        # 保存数据
        with open(reward_file_path, "w") as file:
            file.write(str(reward) + "\n")

        with open(hitrate_file_path, "w") as file:
            file.write(str(ma_hit_rate) + "\n")

        with open(time_file_path, "w") as file:
            file.write(str(time) + "\n")

        with open(all_hitrate_file_path, "w") as file:
            file.write(str(ma_all_hit_rate) + "\n")

        # 保存 args
        save_args(args, args_file_path)
    else:
        # 数据已经存在，直接读取
        print("Loading saved data...")
        
    # 返回数据
    return reward, ma_hit_rate, time, ma_all_hit_rate, args

# 选择是否强制重跑（例如通过用户输入）
force_run = False  # 如果你想强制重跑，将其改为  True

# 获取数据（运行或读取）
reward, ma_hit_rate, time, ma_all_hit_rate, args = run_or_load_data(force_run)

# 画出结果
plot_rewards(reward, args, tag="train")
plot_hit_rate(ma_hit_rate, args, tag="train")
plot_time(time, args, tag="train")
plot_all_hit_rate(ma_all_hit_rate, args, tag="train")

其他的run_this中的代码也需要对应的去修改，# 选择是否强制重跑（例如通过用户输入） force_run = False # 如果你想强制重跑，将其改为 True这句代码去控制是否重跑。

  • 出图就是一些训练收敛曲线
    在这里插入图片描述
    在这里插入图片描述
  • 原文展示的也就是一些收敛曲线：
    在这里插入图片描述

总结

AIGC的强大，使得复现论文似乎没有那么困难了，直接帮你匹配问题的答案，想当年，可得去一堆搜索引擎的结果中去翻答案呢，但又不一定是符合自己需求的，别人的环境可能还和自己的不太一样，不清楚这里面可能会有哪些信息差，内容也参差不齐，很可能就会放弃，严重打击自信心，并陷入自我能力怀疑，有没有同感的？总之对小白不太友好，如今AI似乎让小白进步的路线似乎清晰了一些，不再有太多阻隔，祝大家论文复现顺利！

请详述ppo算法原理，并且特别描述怎么平衡探索利用相关策略的
强化学习曾小健
02-10 1027
PPO避免了TRPO中复杂的二次优化过程，计算更高效。通过剪辑目标函数和熵正则化，PPO有效平衡了策略更新的幅度和探索。PPO适用于离散和连续动作空间，且在多个复杂任务中表现优秀。总体而言，PPO通过剪辑机制和熵正则化巧妙地平衡了探索与利用，使其成为强化学习中一种稳定且高效的算法。
论文推荐|近端策略优化算法（PPO）
最新发布
强化学习曾小健
12-30 1533
SCHULMAN J, WOLSKI F, DHARIWAL P, 等. Proximal Policy Optimization Algorithms[M/OL]. arXiv, 2017[2024-04-07].）是一个较难确定的值，在不同的环境中有不同的选择。同时，为了检验算法在高维连续控制问题的表现，作者使用。一是PPO-Penalty，通过设置目标散度dtarg的方式实现惩罚项的。的强化算法，同时也是一种高效、稳定、强大的算法框架，具备为。的算法之一，相较于其他基于策略的强化学习算法，其在。
论文阅读06-Task Offloading Optimization in Mobile Edge Computing based on Deep Reinforcement Learning
代码哥19950715的博客
11-27 1215
使用深度强化学习实现任务卸载。
PPO算法经典论文阅读
赛亚茂的博客
08-23 4450
​ 首先在论文的引言部分给出了经典的强化学习算法的不足之处:许多的经典强化学习算法在大型的模型、数据采样效率、鲁棒性(无需手动超参调整)上都有很大的提升空间。Q-Learning算法(包括函数逼近类算法)在许多简单问题上应用存在局限性,例如要满足状态空间与动作空间的离散型要求，并且其理解起来也是一件很困难的事情、而vanilla policy gradient算法的数据效率与鲁棒性较差、置信域优化算法(TRPO)相对来说比较复杂，而且对于包含噪声或参数共享(在策略函数与价值函数之间有其他的辅助任务需求)的网
论文笔记之PPO
Ton的博客
08-10 5686
15年OpenAI发表了TRPO算法，一直策略单调提升的算法；17年DeepMind基于TRPO发表了一篇Distributed-PPO，紧接着OpenAI发表了这篇PPO。可以说TRPO是PPO的前身，PPO在TRPO的基础上进行改进，使得算法可读性更高，实操性更强。 论文地址，点这里 有关TRPO的论文解读，可参考我的另一篇论文笔记之TRPO PPO作为目前比较火热的model-free类强化学习算法，在许多环境中取得了不错的效果，因此是有必要去学习的。 论文解读参考： ①强化学习笔记（五）–PPO ②
PPO(Proximal Policy Optimization Algorithms)论文解读及实现
weixin_42529756的博客
07-15 2200
ppo强化学习论文解读及代码实现
PPO(Proximal Policy Optimization)算法原理及实现,详解近端策略优化
weixin_41106546的博客
04-04 9万+
接着上面的讲，PG方法一个很大的缺点就是参数更新慢，因为我们每更新一次参数都需要进行重新的采样，这其实是中on-policy的策略，即我们想要训练的agent和与环境进行交互的agent是同一个agent；与之对应的就是off-policy的策略，即想要训练的agent和与环境进行交互的agent不是同一个agent，简单来说，就是拿别人的经验来训练自己。举个下棋的例子，如果你是通过自己下棋来不断提升自己的棋艺，那么就是on-policy的，如果是通过看别人下棋来提升自己，那么就是off-policy的。
强化学习与网络安全资源-论文和环境
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
05-14 231
【代码】强化学习与网络安全资源-论文和环境。
强化学习与网络安全资源
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
05-21 371
【代码】强化学习与网络安全资源。
DeepHawkes算法报告
shencongge的博客
06-16 961
算法报告
◇【论文_20170720_20170828v2】PPO 算法〔OpenAI〕： Proximal Policy Optimization Algorithms
weixin_46034116的博客
10-09 978
【我们提出了…用于…的方法，可以干什么？我们提出了一系列用于强化学习的新策略梯度方法，这些方法通过 与环境交互来交替采样数据，并使用随机梯度上升来优化“代理”目标函数。【关键 idea】标准的策略梯度方法 对每个数据样本执行一次梯度更新，我们提出了一个新的目标函数，可以实现小批量的多个 epochs 更新。！注意这里 不是 回合episodes，是深度学习中常见的 epochs，完整的数据集送入到神经网络训练并且返回称为一次 epoch〕【方法的优势】
PPO算法OpenAI论文大致翻译
qq_39894692的博客
11-15 7538
近年来，涌现出一些用于带有神经网络函数逼近器的强化学习的算法，主要有DQL，“vanilla”策略梯度算法和信任域/自然策略梯度算法。然而，这些算法在广泛性、数据效率和稳定性方面仍存在很大的上升空间。Q-learning不能很好地解决简单问题并且算法的理解性很差；“vanilla”策略梯度算法数据效率低，稳健性差；TRPO算法相对复杂且对包含噪声或者参数共享的结构不兼容。   因此急需提出一种...
边缘计算笔记
weixin_46941670的博客
04-13 388
输出层：两个输出层，一个输出概率分布，P=0表示系统将任务分给本地计算机的概率，p=1表示系统将计算任务卸载至边缘服务器的概率，激活函数为Softmax；依据概率分布，可以根据p=0与p=1的值，获得将计算任务分于本地计算机和卸载至边缘服务器的概率，并得出该动作策略下的优化系统动作。的方式来学习如何做出最佳决策。该神经网络的输入是用来表征当前系统状态的系统变量，输出是概率分布和网络评价结果。1.在一定的时间步长内，智能体不断地用当前的动作策略，选择相应的系统动作，在系统环境中得到对此动作策略收益的估计;
强化学习 | PPO论文小结
Hesy_H的博客
04-17 1298
DQN属于value-based算法，它预估的是V(s)/Q(s,a)，这个和策略是无关的，每次更新，拿之前离线的数据去更新对应的Q(s’,a’)是完全合理的（就算是不同的策略，在同一个s下做了同一个a，影响其后续reward，也就是影响其对应Q(s,a)的是环境，跟策略无关。因为PPO属于PG算法（同时也属于AC类算法，也是on-policy算法[虽然做了一点近似，有一点off-policy的成分在] ），会直接修改PG算法，所以每次更新完policy，之前离线采样下来的数据就跟现有的分布是不一样的；
PPO，Proximal Policy Optimization Algorithms 论文阅读
KongCDY的专栏
10-10 1746
TRPO的优化方式比较复杂，对于某些模型结构无法使用，例如模型使用了dropout或policy跟value function模型参数进行了共享。PPO算法基于TRPO的目标函数进行了简化，使用目标函数的一阶导数进行policy的更新，并且更新时可以进行多次迭代，重复使用现有的数据更新policy。 先看TRPO的目标函数（是surrogate的） 其复杂的优化方式主要来源于那个hard的...
3.深度强化学习------PPO(Proximal Policy Optimization)算法资料+原理整理
木易进
03-14 1万+
文章地址： PPO: Proximal Policy Optimization Algorithms 一. PPO资料 PPO原理讲解BLOG①：这篇blog详细讲了PPO算法的产生过程及原理，包含部分理论推导，看完这篇blog基本就理解PPO了。 PPO原理讲解BLOG②：可参考，其中包含部分tensorflow实现代码。 二. PPO原理简述 2.1 背景 PPO是基于基本的Policy Gradient进行改进的算法，关于PG的更新过程这里不详细描述了，可以根据上述BLOG①或其他资料或下面的图片推导
深度增强学习PPO（Proximal Policy Optimization）算法源码走读
热门推荐
世事难料，保持低调
05-27 10万+
OpenAI出品的baselines项目是一系列reinforcement learning（强化学习或增强学习）算法的实现。现在已经有包括DQN,DDPG,TRPO,A2C,ACER,PPO在内的近十种经典算法实现，同时它也在不断扩充中。它为对RL算法的复现验证和修改实验提供了很大的便利。本文主要走读其中的PPO（Proximal Policy Optimization）算法的源码实现。PPO是...
强化学习从PG到PPO（基于百度飞桨PaddlePaddle+PARL）
tostq的专栏
07-24 1528
前段时间抽空学习了《百度强化学习基础课程》强化学习7日打卡营-世界冠军带你从零实践，总共七天的视频+线上作业（视频地址：世界冠军带你从零实践强化学习），让我这个小白基本对于强化学习有了简单的理解，知识虽然是灌进脑袋里，但仍是一团浆糊，本篇文章整理了自己的对于课程的理解，以及自己的发散和思考，从最简单的PG算法，到现在流行的PPO算法。 PG算法原理 PG算法即是基于策略（Policy-based），不同于Value-based的算法的Q函数，其是直接优化策略函函数，在深度强化学习中，其一般是采用神经网络
Joint Optimization for Task Offloading in Edge Computing: An Evolutionary Game Approach复现
06-02
你想复现这篇论文的内容吗？这是一个非常复杂的过程，需要对计算机网络、进化博弈论、优化算法等多个领域有深入的了解和实践经验。你需要详细阅读论文，理解其中的理论和算法，并且按照论文中的方法进行编程实现和实验测试。 如果你没有相关的专业知识和经验，建议先学习相关的课程和教材，积累一定的实践经验，再来尝试复现这篇论文。另外，如果你只是想了解这篇论文的研究内容和结论，可以阅读论文的摘要和结论部分，以及相关的综述和评论文章。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值