《Alleviating Matthew Effect of Offline Reinforcement Learningin Interactive Recommendation》代码复现笔记2.0

已于 2024-03-19 18:00:19 修改
阅读量741 收藏 19
点赞数 10
分类专栏： 论文阅读 文章标签： 笔记
于 2024-03-19 17:31:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67197896/article/details/136843149
版权

代码说明所在位置：GitHub - chongminggao/DORL-codes: Source codes for our SIGIR '23 paper

1.运行代码的示例

1.1运行传统的基于DQN的baselines，如BCQ或者SQN

1.1.1运行静态用户模型（DeepFM）来获得用户和物品的嵌入

  python run_worldModel_ensemble.py --env CoatEnv-v0  --cuda 0 --epoch 5 --tau 0 --loss "pointneg" --message "pointneg"

其中，message是命名保存文件的生成器 

运行结果分析： 

生成了DeepFM文件夹，执行完成后在save_models的CoatEnv-v0环境文件夹下生成了DeepFM文件夹

1.1.2运行RL策略，默认情况下使用上一步训练的用户/物品嵌入

运行BCQ

python run_Policy_BCQ.py  --env CoatEnv-v0  --seed 0 --cuda 0    --which_tracker avg --reward_handle "cat"  --unlikely-action-threshold 0.6 --window_size 3 --read_message "pointneg"  --message "BCQ"

 运行结果分析： 

生成了BCQ文件夹，并将日志文件保存在了在文件夹下的logs文件夹中

运行SQN

python run_Policy_SQN.py  --env CoatEnv-v0   --seed 0 --cuda 0   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat"  --window_size 3 --read_message "pointneg"  --message "SQN"

没去执行 

1.2运行基于模型的方法，即DORL、MBPO、MOPO

1.2.1运行静态用户模型（DeepFM）来获得用户和物品的嵌入

python run_worldModel_ensemble.py --env KuaiEnv-v0  --cuda 0 --epoch 5 --loss "pointneg" --message "pointneg"

运行结果分析： 

生成了DeepFM文件夹，执行完成后在save_models的KuaiEnv-v0环境文件夹下生成了DeepFM文件夹

 

1.2.2运行RL策略.使用参数 --read_message"pointneg"来确保embeddings 和rewards 是从上一步训练的模型中生成出来的

运行DORL（论文中提出的方法）

python run_Policy_Main.py --env KuaiEnv-v0  --seed 0 --cuda 0  --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --lambda_variance 0.01 --lambda_entropy 0.05  --window_size 3 --read_message "pointneg"  --message "DORL" &

运行MBPO（基于香草模型的离线RL方法）

python run_Policy_Main.py --env KuaiEnv-v0  --seed 0 --cuda 0   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --lambda_variance 0   --lambda_entropy 0    --window_size 3 --read_message "pointneg"  --message "MBPO" &

运行MOPO（考虑分布位移的基于模型的RL方法）

python run_Policy_Main.py --env KuaiEnv-v0  --seed 0 --cuda 0   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --lambda_variance 0.05 --lambda_entropy 0    --window_size 3 --read_message "pointneg"  --message "MOPO" &

运行结果分析：

生成了log文件，在KuaiEnv-v0下的A2C_with_emb的logs中

2.重现论文结果（图7）

2.1重新运行实验

2.1.1训练静态用户模型以及静态基线方法

对于KuaiEnv环境

python run_worldModel_IPS.py --env KuaiEnv-v0  --seed 0 --cuda 0 --loss "pointneg" --message "DeepFM-IPS" &
python run_linUCB.py         --env KuaiEnv-v0  --num_leave_compute 4  --leave_threshold 0 --epoch 200 --seed 0 --cuda 0 --loss "pointneg" --message "UCB" &
python run_epsilongreedy.py  --env KuaiEnv-v0  --num_leave_compute 4  --leave_threshold 0 --epoch 200 --seed 0 --cuda 1 --loss "pointneg" --message "epsilon-greedy" &
python run_worldModel_ensemble.py --env KuaiEnv-v0  --cuda 0 --epoch 5 --loss "pointneg" --message "pointneg" &

 运行结果分析：

 第一条指令： user_model and its parameters have been saved in ./saved_models/KuaiEnv-v0/DeepFM-IPS

 

 第2-3条指令：生成了log文件

第4条指令： user_model and its parameters have been saved in ./saved_models/KuaiEnv-v0/DeepFM

对于KuaiRand环境

python run_worldModel_IPS.py --env KuaiRand-v0  --seed 0 --cuda 0 --loss "pointneg" --message "DeepFM-IPS" &
python run_linUCB.py         --env KuaiRand-v0  --num_leave_compute 4  --leave_threshold 0 --epoch 200 --seed 0 --cuda 2 --loss "pointneg" --message "UCB" &
python run_epsilongreedy.py  --env KuaiRand-v0  --num_leave_compute 4  --leave_threshold 0 --epoch 200 --seed 0 --cuda 3 --loss "pointneg" --message "epsilon-greedy" &
python run_worldModel_ensemble.py --env KuaiRand-v0  --cuda 0 --epoch 5 --loss "pointneg" --message "pointneg" &

运行结果分析： 

与KuaiEnv一致

注意：在进入下一个阶段前，所有的指令需要全部执行完成 。

2.1.2学习RL策略

对于KuaiEnv环境

python run_Policy_SQN.py  --env KuaiEnv-v0  --seed 0 --cuda 4   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat"  --window_size 3 --read_message "pointneg"  --message "SQN" &
python run_Policy_CRR.py  --env KuaiEnv-v0  --seed 0 --cuda 5   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat"  --window_size 3 --read_message "pointneg"  --message "CRR" &
python run_Policy_CQL.py  --env KuaiEnv-v0  --seed 0 --cuda 6   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat"  --num-quantiles 20 --min-q-weight 10 --window_size 3 --read_message "pointneg"  --message "CQL" &
python run_Policy_BCQ.py  --env KuaiEnv-v0  --seed 0 --cuda 7   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat"  --unlikely-action-threshold 0.6 --window_size 3 --read_message "pointneg"  --message "BCQ" &
python run_Policy_IPS.py  --env KuaiEnv-v0  --seed 0 --cuda 7   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --lambda_variance 0    --lambda_entropy 0    --window_size 3 --read_message "DeepFM-IPS"  --message "IPS" &
python run_Policy_Main.py --env KuaiEnv-v0  --seed 0 --cuda 7   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --lambda_variance 0    --lambda_entropy 0    --window_size 3 --read_message "pointneg"  --message "MBPO" &
python run_Policy_Main.py --env KuaiEnv-v0  --seed 0 --cuda 7   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --lambda_variance 0.05 --lambda_entropy 0    --window_size 3 --read_message "pointneg"  --message "MOPO" &
python run_Policy_Main.py --env KuaiEnv-v0  --seed 0 --cuda 7   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --lambda_variance 0.05 --lambda_entropy 5    --window_size 3 --read_message "pointneg"  --message "DORL" &

 运行结果分析： 

 前5条指令生成了一下五个文件，该5个文件夹下是log日志文件

  后3条指令在A2C_with_emb下生成了三个log文件

对于KuaiRand环境

python run_Policy_SQN.py  --env KuaiRand-v0  --seed 0 --cuda 3   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --window_size 3 --read_message "pointneg"  --message "SQN" &
python run_Policy_CRR.py  --env KuaiRand-v0  --seed 0 --cuda 2   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --window_size 3 --read_message "pointneg"  --message "CRR" &
python run_Policy_CQL.py  --env KuaiRand-v0  --seed 0 --cuda 1   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --num-quantiles 20 --min-q-weight 10 --window_size 3 --read_message "pointneg"  --message "CQL" &
python run_Policy_BCQ.py  --env KuaiRand-v0  --seed 0 --cuda 0   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --unlikely-action-threshold 0.6 --window_size 3 --read_message "pointneg"  --message "BCQ" &
python run_Policy_IPS.py  --env KuaiRand-v0  --seed 0 --cuda 7   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --lambda_variance 0    --lambda_entropy 0     --window_size 3 --read_message "DeepFM-IPS"  --message "IPS" &
python run_Policy_Main.py --env KuaiRand-v0  --seed 0 --cuda 7   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --lambda_variance 0    --lambda_entropy 0     --window_size 3 --read_message "pointneg"  --message "MBPO" &
python run_Policy_Main.py --env KuaiRand-v0  --seed 0 --cuda 7   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --lambda_variance 0.01 --lambda_entropy 0     --window_size 3 --read_message "pointneg"  --message "MOPO" &
python run_Policy_Main.py --env KuaiRand-v0  --seed 0 --cuda 7   --num_leave_compute 1 --leave_threshold 0 --which_tracker avg --reward_handle "cat" --lambda_variance 0.01 --lambda_entropy 0.05  --window_size 3 --read_message "pointneg"  --message "DORL" &

运行结果分析： 

与KuaiEnv一致

3.可视化代码结果

在进行可视化时，用到的代码文件为results_for_paper/visualize_main_results.ipynb。

图7需要使用results_all文件夹中两个环境下的log文件，故将原results_all文件夹重命名为old_results_all文件夹。新建results_all文件夹并将自己执行代码获得的log文件分环境放入其中。参考如下：

减少迭代次数后，可视化图7如下：

4.备注

4.1一点小说明

此博客和开头所提的链接为重现论文中的图7所进行的工作，该部分代码也在下图所示的文件中

若想复现论文中的图9，其代码在

results_all文件夹是为论文中的图7准备的，results_leave文件夹是为论文中的图9准备的。若想自己验证图9，需要先执行scrip_leave.sh中的指令。

 4.2在运行代码前需进行的工作

星星不想醒
关注
  • 10
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Alleviating the problem of local minima in Backpropagation through competitive learning
02-21
反向传播（Backpropagation，BP）算法是广泛应用于监督学习技术中的，用于训练多层前馈神经网络（Multi-layer Feed-forward Neural networks，MFN）。该算法之所以受到青睐，是因为其简单性、易于实现以及较低的计算...
Alleviating Sensor Location Error Using Sources in Unknown Locations
02-22
例如，在一个拥有六个或更多传感器的网络中，若要通过时间差到达（Time-Difference-of-Arrival，TDOA）测量来减少传感器的相对位置误差，至少需要三个源（Sources）参与。即使如此，网络的全局位置和方向仍然存在不...
《Alleviating Matthew Effect of Offline Reinforcement Learningin Interactive Recommendation》代码复现笔记
m0_67197896的博客
03-19 593
有些指令在执行时会先创建文件夹，以便存放后续生成的日志文件或者是其他文件，第1、2、3、4、5条和第6条指令都有创建文件夹的操作。此处的connect……（2）（3）（4）代表的是第一部分四条指令中的第几条指令。依旧因为设备问题（仅开了一个单个GPU的4090，很贵），此处在真正测试时使用的是。因为设备问题（仅开了一个单个GPU的4090，很贵），此处在真正测试时使用的是。下面分别是第1 2 3 4条指令执行完成后的截图以及其产生的文件。下面分别是第1 2 3 4条指令执行完成后的截图以及其产生的文件。
《Alleviating Matthew Effect of Offline Reinforcement Learningin Interactive Recommendation》笔记5.0
m0_67197896的博客
05-29 610
预测得分计算：首先，通过计算用户u对物品i和物品j的预测得分来衡量用户对物品的偏好程度。预测得分是通过用户u的潜在因子向量和物品i、物品j的潜在因子向量之间的内积得到的，即score(u,i) = wu • hi和score(u,j) = wu • hj。由论文中对MCD的定义处的注释4知：主导类别要求覆盖训练集中80%的物品，在KuaiRand的46个类别中主导类别有13个，在KuaiRec的31个类别中主导类别有12个.表示用户u对物品i和物品j的偏好，其中，u对i的偏好大于u对j的偏好。
《Alleviating Matthew Effect of Offline Reinforcement Learningin Interactive Recommendation》笔记3.0
m0_67197896的博客
04-20 755
目录 一、论文解析（源于机器翻译） 4.关于强化学习（Reinforcement Learning，RL）的基础知识 4.1强化学习基础 4.2基于模型的离线RL框架 5. 方法 5.1解决方案：推荐中基于模型的强化学习 5.2马太效应 5.3 解决方案：重新设计惩罚项 5.4 DORL方法 6. 实验 6.1 实验设置 6.1.1 推荐环境。 6.1.2 基线。 6.2 整体性能比较（RQ1） 6.3 减轻马太效应的结果（RQ2） 6.4 不同环境的结果（RQ3） 7
《Alleviating Matthew Effect of Offline Reinforcement Learningin Interactive Recommendation》笔记4.0（1）
m0_67197896的博客
04-20 861
从上至下，所示类别占据主导地位的强度逐渐下降，也就是说，类别28的主导性最强。也可以理解为，用户观看类别28的视频对最有利于获得更好的结果（比如对应的观看时长更长等）。最后，再次编译 ensemble_models （利用.compile_RL_test()方法）为其设置评估函数。继续获取真实环境env，环境任务类env_task_class(未返回)和其他参数kwargs_um。其中，loss_func的‘args’的具体为。以user_model的第一行为例，对 user_model 的解释。
《Alleviating Matthew Effect of Offline Reinforcement Learning Interactive Recommendation》笔记6.0
m0_67197896的博客
06-27 214
熵惩罚项不依赖于选择的动作，而只依赖于所处的状态。这意味着这种惩罚的效果将是间接的，并且考虑长期优化会惩罚导致较少多样状态的动作。因此，学习到的策略在离线数据中实现了反事实的探索，从而抵消了离线强化学习中的马太效应。
【人工智能】NIPS2019 | 2019NIPS论文 | NeurIPS2019最新更新论文~持续更新| NIPS2019百度云下载
热门推荐
中科院AI算法工程师的博客
09-04 2万+
论文下载百度云链接：链接：https://pan.baidu.com/s/100OAXTIOTPoMjbi-dwOcxA 提取码：请关注【计算机视觉联盟】微信公众号，回复：NIPS2019 今天更新到2019年10月11号 目录 今天更新到2019年9月4号 Understanding the Representation Power of Graph Neural Networks i...
NIPS2019 | 2019NIPS论文 | NeurIPS2019最新更新论文~持续更新| NIPS2019百度云下载
王博（Kings）的博客
09-04 2万+
论文下载百度云链接：链接：https://pan.baidu.com/s/100OAXTIOTPoMjbi-dwOcxA 提取码：请关注【计算机视觉联盟】微信公众号，回复：NIPS2019 今天更新到2019年9月6号 目录 今天更新到2019年9月4号 Understanding the Representation Power of Graph Neural Networks in ...
2023 推荐系统论文整理
卢之
04-14 7689
对2023年的推荐系统论文进行一波收集，给各位做灵感。
【AAAI 2021】全部接受论文列表（六）
yinizhilianlove的博客
01-14 5794
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
A new method for alleviating sequence-specific biases in DNase-seq
02-07
### 新方法缓解DNase-seq中的序列特异性偏倚 #### 摘要与引言 本文介绍了一种新方法，旨在减轻DNase-seq实验中的序列特异性偏倚问题。DNase I足迹分析是一种成熟的技术，用于识别转录因子结合位点。...
Alleviating polarization by designing ultrasmall Li2S nanocrystals encapsulated in N-rich carbon as a cathode material for high-capacity, long-life Li–S batteries
02-22
Lithium sulfide (Li2S), which has a high theoretical specific capacity of.1166 mA h g1, has potential application in cathode materials because.of its high safety and compatibility with lithium-free ...
HotR：Alleviating ReadWrite Interference with Hot Read Data Replication for Flash
12-08
《HotR: Alleviating Read/Write Interference with Hot Read Data Replication for Flash Storage》论文的原文及中文翻译。 摘要： 在读写请求混合的工作负载下，闪存的读写干扰问题仍是一个关键问题。为了显著...
哈希原理(笔记)
m0_62024160的博客
08-17 1113
尤其应该注意Hash function的设计，它是一个难点，Hash funtion设计好坏直接关乎哈希表查询速度的快慢。考虑到哈希碰撞(涉及到对链表的操作)，所以最坏的时间复杂度都是O(n)。早期的md5被破解也是因为人们搞清楚了它的加密方法 f(1) )大多利用单向散列函数函数。(简称为f(2) )计算查询哈希碰撞确认某个哈希值的存在，但是无法通过 f(2)逆推出明文(因为 f(2)只是验证方法，而非解密方法)。(本图来源：wiki)这个签名是由文件的散列值通过发布者的私钥加密生成的。
Freertos学习笔记
最新发布
qq_45031559的博客
08-21 493
Freertos学习笔记
笔记分享: 香港中文大学CSCI5610高级数据结构——最邻近查询
qq_64091900的博客
08-18 697
香港中文大学CSCI5610高级数据结构
Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport论文阅读笔记
weixin_46103454的博客
08-20 300
假设给定一个目标流pt和生成它的向量场ut .学习与pt相匹配的流的一种方法是通过对目标向量场的回归进行梯度下降。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值