ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 使用强化学习解决tsp问题（一）Seq2Seq的前生今世

最新推荐文章于 2024-01-10 03:00:00 发布
最新推荐文章于 2024-01-10 03:00:00 发布
阅读量3.3k 收藏 20
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jsjytc/article/details/103591894
版权
本文介绍了使用强化学习解决旅行商问题（TSP）的思路，涉及ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 文章中的Transformer架构和greedy rollout baseline。同时，深入探讨了seq2seq模型，特别是Dzmitry Bahdanau的注意力机制，用于解决长语句输入问题。此外，还提到了Oriol Vinyals的Pointer Networks，它解决了输出序列长度固定的限制。下篇将介绍强化学习的基础知识。" 8991125,1378954,循环链表详解：特点与环判断,"['C++', '链表', '数据结构', '指针']
摘要由CSDN通过智能技术生成

实习的时候，接触到了使用强化学习去解决tsp的问题，开始先读了ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 这篇文章，文章里更改了Transformer Architecture，并搭载了强化学习中的greedy rollout baseline去解决tsp的问题。无奈背景知识太少，也没有接触过强化学习相关的知识，读起来很费劲。经过请教公司的前辈，制定了下面的学习策略。

  • 前期准备工作

  • Dzmitry Bahdanau的NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

  • 这一篇文献介绍了传统的seq2seq的问题无法解决长语句输入的问题，作者提出了一个叫“align and translate jointly”的解决方案，其实就是一个注意力机制，简单来说就是在预测一个目标词汇的时候，可以查到源语言序列中的哪一部分与它相对应，在后续查找生词中可以直接复制相对应的源语言。
  • 这篇csdn博文把注意力机制的作用解释的很清楚https://blog.csdn.net/weixin_40240670/article/details/86483896。借用文章中的原句解释，“Attention Mechanism的作用就是将encoder的隐状态按照一定权重加和之后拼接（或者直接加和）到decoder的隐
最低0.47元/天 解锁文章
Tangarf
关注
【论文笔记】Attention, learn to solve routing problems!
qq_39574283的博客
07-22 2029
最近很多idea尝试解决组合优化（包括JSP、TSP等）问题，但是离实际应用尚未成熟。为此需要一个更有效的模型和训练方法，而本文在这两个方向都提供了贡献。在解决100个节点TSP问题时，非常解决最优解。并且用相同的超参数在具有两variants的VehicleRoutingProblem、OrienteeringProblem和PrizeCollectingTSP上取得非常解决最优解的成果。本文模型部分设计较多参考了论文，同样值得阅读学习。...
解决旅行商问题的深度强化学习工具箱：TSP Solver with Deep RL
最新发布
gitblog_00014的博客
06-12 368
解决旅行商问题的深度强化学习工具箱：TSP Solver with Deep RL TSP_DRL_PtrNet"Neural Combinatorial Optimization with Reinforcement Learning"[Bello+, 2016], Traveling Salesman Problem solver项目地址:https://gitcode.com/gh_mir...
ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS 2020-05-09
zjy2015302395的博客
05-17 921
ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS Abstract 问题描述 车辆路径问题（Vehicle Routing Problem, VRP）, 车辆路线问题最早是由Dantzig和Ramser于1959年首次提出，它是指一定数量的客户，各自有不同数量的货物需求，配送中心向客户提供货物，由一个车队负责分送货物，组织适当的行车路线，目标是使得客户的需求得到满足，并能在一定的约束下，达到诸如路程最短、成本最小、耗费时间最少等目的。 Daima: https://g
基于强化学习Q learning算法解决TSP问题
QQVQQ的博客
01-08 4801
代码如下： import numpy as np import matplotlib.pyplot as plt epsilon = 0.8 gamma = 0.1 lr = 0.1 distance = np.array([[0, 7, 6, 1, 3], [7, 0, 3, 7, 8], [6, 3, 0, 12, 11], [1, 7, 12, 0, 2], [3, 8, 11, 2, 0]]) R_table = 11 - distance space = [0, 1,
[经典论文分享] Attention, Learn to Solve Routing Problems!
普通攻击往后拉的博客
10-24 3410
1 背景 自从有人基于指针网络解决组合优化问题以来，基于ML的组合优化问题求解模型逐渐被关注。基于深度强化学习的组合优化求解带来了较高的模型准确度和泛化性。但是目前基于DRL的CO求解准确度和训练效率一般，简单来说就是模型不是很成熟。针对模型的表现性能和训练效率，同时本着万物皆可基于transformer进行改进的思想，本文提出了一种面向VRP系列组合优化问题的改进的‘transformer’,作者称其为’Attention Model’。到现在2021年10月，这篇文章已经在谷歌学术上有了325次的引用。
强化学习求解TSP（一）：Qlearning求解旅行商问题TSP（提供Python代码）
IT猿手
01-10 2354
Q-learning是一种强化学习算法，用于解决基于奖励的决策问题。它是一种无模型的学习方法，通过与环境的交互来学习最优策略。Q-learning的核心思想是通过学习一个Q值函数来指导决策，该函数表示在给定状态下采取某个动作所获得的累积奖励。Q-learning的训练过程如下：1. 初始化Q值函数，将所有状态-动作对的Q值初始化为0。2. 在每个时间步，根据当前状态选择一个动作。可以使用ε-greedy策略来平衡探索和利用。3. 执行选择的动作，并观察环境返回的奖励和下一个状态。
【论文笔记+代码解读】《ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS!》
qq_44723753的博客
10-07 3780
【论文笔记+代码解读】《ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS!》
ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 使用强化学习解决tsp问题（二）强化学习背景知识
jsjytc的博客
12-18 2212
本文主要结合两篇文献，第一篇是2017年Google brain团队Irwan Bello∗, Hieu Pham∗, Quoc V. Le, Mohammad Norouzi, Samy Bengio在ICLR上发表的NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING一文。第二篇是Hanjun Dai∗, Elias B. ...
文献阅读10期：ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS!
机语
06-02 1380
[ 文献阅读·路径规划 ] ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! [1] 推荐理由：这篇应该不用多说了，ATTENTION模型做路径规划，算是一篇MileStone了。 1. Attention Model 一个TSP实例假定有n个节点，i∈{1,…,n}i \in\{1, \ldots, n\}i∈{1,…,n}，每个节点的特征为xi\mathbf{x}_{i}xi​，对于TSP问题来说，xi\mathbf{x}_{i}xi​即节点i的坐标，且构.
attention-learn-to-route:基于注意力的模型，用于学习解决不同的路由问题
04-28
注意，学会解决路由问题！ 基于注意力的模型，用于学习解决旅行商问题（TSP）和车辆路径问题（VRP），定向运动问题（OP）和（随机）奖品收集TSP（PCTSP）。 使用REINFORCE进行训练，并采用贪婪的推出基准。 纸 有关更多详细信息，请参阅我们的论文《 已在接受。 如果此代码对您的工作有用，请引用我们的论文： @inproceedings{ kool2018attention, title={Attention, Learn to Solve Routing Problems!}, author={Wouter Kool and Herke van Hoof and Max Welling}, booktitle={International Conference on Learning Representations}, year={2
强化学习 qlearning解决tsp问题
ZhangP41的博客
12-24 951
强化学习入门，学习qlearning算法，尝试用以处理TSP问题，附完整源程序，配有注释
TSP的Reinforcement learning solution
weixin_49379140的博客
07-19 566
TSP强化学习
轻松解决TSP问题之强化学习（BaseLine）
`or 1 or 不正经の泡泡
10-23 1227
由于这个时间关系（好吧其实是我懒），咱们的话就只写了这个最简单的一个BaseLine版本。那么后面还有Lite,Plus版本，区别的话就是神经网络模型的一个区别，其他的思想都是一样的。那么为什么不写后面的版本呢，一方面是懒，另一方面是，这样搞，我后面怎么水呀。而且一步到位的话，这个阅读量还是挺大的。那么后续的版本什么时候更新呢，这个不急，而且改进的点也很简单。那么本文也是，TSP系列的第三篇文章，也是作为一个拓展文章，那么关于原理部分的话，这里就不细说了，需要一定的基础进行观看。
【ML4CO基础】Attention, learn to solve routing problems(Wouter Kool, 2018)
长亮-一个奋斗ing的CSer
07-14 1611
与以往的工作相比，本文采用Attention代替RNN(LSTMs)，引入节点输入顺序的不变性，提高了学习效率。 此外，为提高计算效率，使得并行化成为可能，MHA可以被看作是一种消息传递算法，它允许节点在不同的信道上传递相关信息，使得来自编码器的节点嵌入可以学习在图的上下文中包括关于节点的有价值的信息。作为一种基于图的方法，我们的模型增加了scaling的潜力（与LSTMs相比），因为它可以应用在稀疏图上并在局部操作。现如今AM已经成为组合优化问题中一个常用的baseline，作为其改进程度的量化。....
ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS代码框架解读笔记
ldy8665的博客
06-25 5799
论文连接 这篇文章发表在 ICLR 2019。 论文笔记上一篇所写的笔记。 ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS代码框架 gnenerate_data 首先，我们要搞清楚代码的input的数据到底是什么样的，才能知道后面调用各个方法时候，参数是input的这个东西，到底长什么样。 首先我先看了gnenerate_data.py这个文件，一开始以...
Attention Learn to solve routing problems!论文笔记
QAQ1215158916的博客
01-14 4045
写完了才发现word里写的不能直接传上来，全给转成图片传上来了，下回不这么干了。
ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS!论文笔记
ldy8665的博客
06-22 7251
论文连接 这篇文章发表在 ICLR 2019。 ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 标题的Attention很取巧啊，一语双关。 Abstract 这篇文章主要是用REINFORCE的方法去训练网络，解决组合优化问题（combinatorial optimization problems），也就是用了RL的deterministic gree...
ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS!
weixin_43893363的博客
09-08 347
编码器、解码器
tsp问题动态规划python_用Python解决TSP问题(2)——动态规划算法
05-23
TSP问题是指旅行商问题，即在给定的一些城市中，旅行商要找到一条经过所有城市且回到起点的最短路径。这是一个NP难问题，因此通常采用动态规划算法来解决。 以下是一个用Python实现的动态规划算法解决TSP问题的示例...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值