【论文笔记】NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING

最新推荐文章于 2022-08-22 16:43:15 发布
最新推荐文章于 2022-08-22 16:43:15 发布
阅读量2.6k 收藏 14
点赞数 2
分类专栏： ML&CO 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44363614/article/details/106208618
版权
该论文探讨了使用强化学习（RL）策略梯度方法结合指针网络解决组合优化问题，如旅行商问题（TSP）和背包问题。通过actor-critic算法，论文展示了RL在训练和优化过程中的优势，对比了抽样搜索和主动搜索策略。实验结果显示，RL预训练能显著提升性能，接近最优解，并在背包问题上优于传统启发式方法。
摘要由CSDN通过智能技术生成

目录

论文

强化学习+指针网络+组合优化

一、概论

主要是用强化学习中的策略梯度方法，来计算为TSP建立的指针网络模型的参数。同时发现策略梯度+主动学习的效果更好

二、模型

参数

s：是输入的序列坐标集
θ \theta θ：网络的参数
π \pi π：一种策略（参数）的输出结果

公式

  1. 定义结果好坏
    定义策略好坏

  2. π \pi π结果出现的可能性【链式展开】在这里插入图片描述

  3. 定义在 s s s的空间中，参数为 θ \theta θ的L的期望值
    在这里插入图片描述

最低0.47元/天 解锁文章
Vajuw
关注
  • 2
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
neural-combinatorial-rl-pytorch:具有增强学习功能的神经组合优化的PyTorch实施https
05-16
神经组合rl火炬 PyTorch实现。 我已经用本文中的贪婪解码实现了基本的RL预训练模型。 有监督学习基线模型的实现。 我没有使用评论者网络，而是通过使用指数移动平均评论者在TSP上获得了我的结果。 评论者网络现在在我的代码中只是被注释掉了。 通过与其他几个人的通信，可以确定指数移动平均线评论员显着帮助改善了结果。 我的实现在指针网络中使用了一种随机的解码策略，该策略是在训练期间通过PyTorch的torch.multinomial()实现的，并且在测试模型时对波束进行搜索（尚未完成，仅支持1波束aka贪婪）进行解码。 当前，支持分类任务和平面对称欧几里得TSP。 有关如何运行代码的示例，请参见main.sh 使用--load_path $LOAD_PATH和--is_train False标志可以加载保存的模型。 要加载保存的模型并查看指针网络的关注层，请使用--plot_
NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING 2020-05-07
zjy2015302395的博客
05-17 2131
NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING Abstract(借用pointer network用 policy gradient 优化,) given a set of city coordinates, predicts a distribution over different city permutations. RL(reward 总路径长度相反数) + RNN (policy gradient) 很好的解决100no
Neural combinatorial optimization with reinforcement learning 翻译
weixin_43889128的博客
04-26 864
摘要 本文提出了一个使用神经网络和强化学习来解决组合优化问题的框架。 我们专注于旅行商问题（TSP），并训练一个递归神经网络，该神经网络在给定一组城市坐标的情况下，预测了不同城市排列的分布。 使用负游程长度作为奖励信号，我们使用策略梯度方法优化了递归神经网络的参数。 我们将在一组训练图上学习网络参数与在单个测试图上学习网络参数进行比较。 尽管计算量大，但无需进行大量工程设计和启发式设计，神经组合优化在具有多达100个节点的2D欧几里得图上仍能达到接近最佳的结果。 将同样的方法应用于另一个NP难题KnapSa
NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING 翻译
zhengyu9612的博客
12-16 1253
Irwan Bello∗, Hieu Pham∗, Quoc V. Le, Mohammad Norouzi, Samy Bengio Google Brain {ibello,hyhieu,qvl,mnorouzi,bengio}@google.com 使用强化学习进行神经组合优化 摘要 This paper presents a framework to tackle combinato...
Neural Optimizer Search with Reinforcement Learning
qq_32256033的博客
03-16 601
谷歌大脑近期放出了一篇论文「Neural Optimizer Search with Reinforcement Learning」（强化学习的神经网络优化器搜索），用强化学习的方法为神经网络（尤其是深度学习）找到最佳的优化算法/权重更新规则。论文并没有重新制造轮子，但也取得了不错的效果，而且也引起了一定的关注。 要成功训练一个深度学习模型，选择一个适当的优化方法是非常重要的。虽然随机梯度下降法（...
Neural architecture search with reinforcement learning-Waymo 增强学习
01-22
Waymo 无人车. 神经网络 增强学习 强化学习 Neural architecture search with reinforcement learning-Google Brain
Learning Recurrent Neural Networks with Hessian-Free Optimization
07-22
cent advances in the Hessian-free optimization approach (Martens, 2010), together with a novel damping scheme, we successfully train RNNs on two sets of challenging problems. First, a col- lection of ...
Deep Learning Practical Neural Networks with Java 无水印pdf
09-30
Deep Learning Practical Neural Networks with Java 英文无水印pdf pdf所有页面使用FoxitReader和PDF-XChangeViewer测试都可以打开 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，...
Deep Reinforcement Learning with Double Q-learning论文分享.pdf
05-16
In particular, we first show that the recent DQN algorithm, which combines Q-learning with a deep neural network, suffers from substantial overestimations in some games in the Atari 2600 domain....
Combinatorial Optimization（组合优化）.pdf
07-30
有中文译本：组合优化（2011出版） 作者：William J. Cook, William H. Cunningham, William R. Pulleyblank, Alexander Schrijver 出版时间：1997
通过指针网络 对tsp进行 强化学习_python_代码_下载
06-22
为简单起见，我们没有实现 thencritic 网络，而是使用最佳路径长度作为critic 值。 train tsp 样本是通过在 [0,1]*[0,1] 网格中均匀采样 2D 点来生成的。最优解由concorde求解。要生成训练样本， concorde应在系统PATH变量中找到。 结果 tsp 10 100,000 后的测试结果。diff 是 rl 解和最优解之间的差距。 更多详情、使用方法，请下载后阅读README.md文件
【论文笔记】用机器学习解决组合优化问题的论文综述
人间不值得
07-25 5885
现在用机器学习（特别是深度学习和深度增强学习）研究的组合优化问题：旅行商问题（TSP），3D装箱问题，车辆路径问题（VRP）等。 基础知识： seq2seq： 1、sequence to sequence learning with neural network. seq2seq框架的提出 attention： ...
论文研读-多目标优化中的多源选择迁移框架
遗世独立的乌托邦
06-26 3898
论文研读-多目标优化中的多源选择迁移框架 Multisource Selective Transfer Framework in Multiobjective Optimization Problems 觉得有用的话,欢迎一起讨论相互学习~ 此篇文章为 J. Zhang, W. Zhou, X. Chen, W. Yao and L. Cao, "Multisource Selective Transfer Framework in Multiobjective Optimization Problem
综述笔记《Machine Learning for Combinatorial Optimization: a Methodological Tour d'Horizon》
mintminty的博客
04-26 2657
这里写目录标题0. 补充概念1. Introduction1.1 Motivation 0. 补充概念 （1）旅行商问题(travelling salesman problem, TSP) 典型旅行商问题 举例：有个快递员分别要给3家顾客送快递，他自己到达每个顾客家的路程各不相同，每个顾客之间的路程也各不相同。那么，如果想要将快递依次送达，并最终返回起点，哪一条路线所走的总距离最短？ 思路1-枚...
论文翻译|强化学习的神经组合优化
小火龙的博客
11-11 1711
论文翻译|强化学习的神经组合优化 摘要 本文提出了一个使用神经网络和强化学习来解决组合优化问题的框架。我们专注于旅行商问题 (TSP) 并训练一个循环神经网络，该网络在给定一组城市坐标的情况下，预测不同城市排列的分布。使用负旅行长度作为奖励信号，我们使用策略梯度方法优化循环神经网络的参数。我们将在一组训练图上学习网络参数与在单个测试图上学习它们进行比较。尽管计算成本很高，但无需太多工程和启发式设计，神经组合优化在具有多达 100 个节点的 2D 欧几里得图上实现了接近最佳的结果。应用于 KnapSack，
精读论文：Pareto Multi Objective Optimization（附翻译）
菜菜小孙的blog
08-11 2962
Pareto Multi Objective Optimization 一、总结 1.1 Pareto多目标优化 摘自该文章 多目标优化问题的数学模型一般可以写成如下形式 f1(x),f2(x),...,fn(x)f_1(x),f_2(x),...,f_n(x)f1​(x),f2​(x),...,fn​(x)表示n个目标函数，目的都是使之达到最小 1：解A优于解B（解A强帕累托支配解B） 假设现在有两个目标函数，解A对应的目标函数值都比解B对应的目标函数值好，则称解A比解B优越，也可以叫做解A强帕累托支
深度学习之 14 深度学习前沿与局限
水w的博客
08-22 894
深度学习前沿与局限
强化学习pdf_主编推荐 | 深度学习和强化学习在组合优化方面有哪些应用？
weixin_39940913的博客
12-16 735
编者按2017年阿里巴巴的一篇用深度强化学习求解3维装箱问题的论文引发了深度学习和强化学习在组合优化问题方面应用的深入探讨。一部分先驱的研究者尝试用深度学习和强化学习的角度去看待组合优化问题的求解，相关的前沿探索性研究也逐步展开。单纯的采用基于Search的传统数学优化方法是否有着局限性，基于深度学习和强化学习的Learning to Search方法是否能有着较好的应用前景？本文就带你简单了解一...
neural multi-objective combinatorial optimization with diversity enhancement
最新发布
11-10
神经网络多目标组合优化是一种利用神经网络技术解决复杂组合优化问题的方法。在优化过程中，通常存在多个相互竞争的目标，如最大化利润和最小化成本等。传统的优化算法难以有效处理这些多目标问题。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值