ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 使用强化学习解决tsp问题（一）Seq2Seq的前生今世

最新推荐文章于 2024-04-12 09:51:29 发布
最新推荐文章于 2024-04-12 09:51:29 发布
阅读量3.2k 收藏 20
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jsjytc/article/details/103591894
版权

实习的时候，接触到了使用强化学习去解决tsp的问题，开始先读了ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 这篇文章，文章里更改了Transformer Architecture，并搭载了强化学习中的greedy rollout baseline去解决tsp的问题。无奈背景知识太少，也没有接触过强化学习相关的知识，读起来很费劲。经过请教公司的前辈，制定了下面的学习策略。

  • 前期准备工作

  • Dzmitry Bahdanau的NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

  • 这一篇文献介绍了传统的seq2seq的问题无法解决长语句输入的问题，作者提出了一个叫“align and translate jointly”的解决方案，其实就是一个注意力机制，简单来说就是在预测一个目标词汇的时候，可以查到源语言序列中的哪一部分与它相对应，在后续查找生词中可以直接复制相对应的源语言。
  • 这篇csdn博文把注意力机制的作用解释的很清楚https://blog.csdn.net/weixin_40240670/article/details/86483896。借用文章中的原句解释，“Attention Mechanism的作用就是将encoder的隐状态按照一定权重加和之后拼接（或者直接加和）到decoder的隐
最低0.47元/天 解锁文章
Tangarf
关注
  • 4
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
强化学习求解TSP（一）：Qlearning求解旅行商问题TSP（提供Python代码）
IT猿手
01-10 2247
Q-learning是一种强化学习算法，用于解决基于奖励的决策问题。它是一种无模型的学习方法，通过与环境的交互来学习最优策略。Q-learning的核心思想是通过学习一个Q值函数来指导决策，该函数表示在给定状态下采取某个动作所获得的累积奖励。Q-learning的训练过程如下：1. 初始化Q值函数，将所有状态-动作对的Q值初始化为0。2. 在每个时间步，根据当前状态选择一个动作。可以使用ε-greedy策略来平衡探索和利用。3. 执行选择的动作，并观察环境返回的奖励和下一个状态。
ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 使用强化学习解决tsp问题（二）强化学习背景知识
jsjytc的博客
12-18 2184
本文主要结合两篇文献，第一篇是2017年Google brain团队Irwan Bello∗, Hieu Pham∗, Quoc V. Le, Mohammad Norouzi, Samy Bengio在ICLR上发表的NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING一文。第二篇是Hanjun Dai∗, Elias B. ...
探索RLSeq2Seq：强化学习与序列到序列模型的创新融合
最新发布
gitblog_00024的博客
04-12 305
探索RLSeq2Seq：强化学习与序列到序列模型的创新融合 项目地址:https://gitcode.com/yaserkl/RLSeq2Seq RLSeq2Seq 是一个开源项目，它巧妙地结合了强化学习（Reinforcement Learning, RL）和序列到序列（Sequence-to-Sequence, Seq2Seq）模型，为自然语言处理任务提供了一个新的解决方案。在这个项目中，作者...
【论文笔记+代码解读】《ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS!》
qq_44723753的博客
10-07 3346
【论文笔记+代码解读】《ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS!》
ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS代码框架解读笔记
ldy8665的博客
06-25 5678
论文连接 这篇文章发表在 ICLR 2019。 论文笔记上一篇所写的笔记。 ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS代码框架 gnenerate_data 首先，我们要搞清楚代码的input的数据到底是什么样的，才能知道后面调用各个方法时候，参数是input的这个东西，到底长什么样。 首先我先看了gnenerate_data.py这个文件，一开始以...
强化学习求解TSP（二）：Qlearning求解旅行商问题TSP（提供Python代码）
IT猿手
01-10 1034
Q-learning是一种强化学习算法，用于解决基于奖励的决策问题。它是一种无模型的学习方法，通过与环境的交互来学习最优策略。Q-learning的核心思想是通过学习一个Q值函数来指导决策，该函数表示在给定状态下采取某个动作所获得的累积奖励。Q-learning的训练过程如下：1. 初始化Q值函数，将所有状态-动作对的Q值初始化为0。2. 在每个时间步，根据当前状态选择一个动作。可以使用ε-greedy策略来平衡探索和利用。3. 执行选择的动作，并观察环境返回的奖励和下一个状态。
论文“学习TSP需要重新思考泛化”（CP 2021）的 代码_python_Jupyter _代码_下载
06-22
为了利用迁移学习来解决大规模的 TSP，本文确定了归纳偏差、模型架构和学习算法，它们促进了对比训练中更大的实例的泛化。我们的受控实验为这种零样本泛化提供了第一个原则性调查，揭示了超越训练数据的推断需要重新...
attention-learn-to-route:基于注意力的模型，用于学习解决不同的路由问题
04-28
如果此代码对您的工作有用，请引用我们的论文： @inproceedings{ kool2018attention, title={Attention, Learn to Solve Routing Problems!}, author={Wouter Kool and Herke van Hoof and Max Welling}, booktitle...
蚁群算法解决TSP问题_sump2u_TheProcess_sleep14l_蚁群算法解决tsp问题_
10-01
For intelligent computing in the process of learning requires learning to solve traveling problem.All of my original program and all tested correctly.
solve_problems:这是我解决数据结构和算法问题的仓库
05-16
在这个名为“solve_problems”的仓库中，我们可以期待找到一系列与数据结构和算法相关的解决方案，专为解决实际问题而设计。下面将详细讨论这两个核心主题。 **数据结构** 1. **数组**：最基础的数据结构，它提供...
python调用cplex解决tsp问题
08-06
Python调用Cplex解决TSP问题是一个典型的组合优化问题，其中Cplex是一个强大的数学优化求解器，由IBM开发，广泛应用于线性规划、整数规划、二次规划以及图论问题，如旅行商问题（TSP）。在这个场景下，我们将探讨...
TSP_DRL_PtrNet:PyTorch1.6，“带有强化学习的神经组合优化”，指针网络，深度RL（演员-批评），旅行商问题
05-07
具有Deep RL的TSP解算器 这是具有增强学习功能的神经组合优化的PyTorch实施，Bello等人。 2016 [ ] 指针网络是Vinyals等人提出的模型架构。 2015 [ ] 该模型使用注意力机制来输出输入索引的排列。 在这项工作中，我们将解决旅行商问题（TSP），这是被称为NP-hard的组合优化问题之一。 TSP寻求推销员最短的行程，使他们只能一次访问每个城市。 在没有监督解决方案的情况下进行培训 在训练阶段，此TSP求解器将优化2种不同类型的指针网络，Actor和Critic模型。 给定一个以城市为节点的城市图，评论家模型可以预测预期的旅行时长，通常称为状态值。 当估计行程长度赶上由演员模型预测的行程（城市排列）计算出的实际长度时，评论者模型的参数将得到优化。 Actor模型使用称为好处的值更新其策略参数，该值从实际巡回行程中减去状态值。 影评人 Actor
通过指针网络 对tsp进行 强化学习_python_代码_下载
06-22
为简单起见，我们没有实现 thencritic 网络，而是使用最佳路径长度作为critic 值。 train tsp 样本是通过在 [0,1]*[0,1] 网格中均匀采样 2D 点来生成的。最优解由concorde求解。要生成训练样本， concorde应在系统PATH变量中找到。 结果 tsp 10 100,000 后的测试结果。diff 是 rl 解和最优解之间的差距。 更多详情、使用方法，请下载后阅读README.md文件
强化学习 qlearning解决tsp问题
ZhangP41的博客
12-24 837
强化学习入门，学习qlearning算法，尝试用以处理TSP问题，附完整源程序，配有注释
TSP的Reinforcement learning solution
weixin_49379140的博客
07-19 489
TSP强化学习
强化学习系列（一）：基本原理和概念
zhugby的博客
05-27 6011
目录 一、什么是强化学习？ 二、强化学习的结构 第一层 第二层 第三层 三、价值函数 1）Policy function： 2）Value function： 3）Q与V之间的转化 3）Q值更新——贝尔曼公式 四、强化学习的特点 五、强化学习的优点 一、什么是强化学习？ 这几年强化学习在学术界是非常的火热，想必大家或多或少都听过这个名词。什么是强化学习呢？强化学习是机器学习领域的一个分支，指的是agent在与环境的互动过程中为了达成一个目标而进行的学习过程。以...
如何使用Python轻松解决TSP问题（PSO算法）
`or 1 or 不正经の泡泡
10-14 4692
先前我们给出了遗传算法的解决方案，那么同样的我们，给出使用PSO的解决方案。其实对PSO算法比较了解的小伙伴应该是知道的，这个PSO其实是比较适合解决连续问题的。而我们的TSP问题显然是一个离散的问题。那么如何将连续问题转化为离散问题呢，那么这个时候其实有一个方案就是使用广义PSO算法。其实除了这个方案，我自己其实也有一个方案，这个方案基本上应该是通用的可以将连续问题转化为离散问题。
ortools解决tsp_深度学习或强化学习在组合优化方面有哪些应用？
weixin_39970064的博客
12-19 577
2017年阿里巴巴就有一篇用深度强化学习求解3维装箱问题的论文。深度学习和强化学习的兴起让我们会思考一个大一点的命题：单纯的采用基于Search的传统数学优化方法可能有着局限性，基于深度学习和强化学习的Learning to Search方法是否能帮助我们更好的寻找最优解呢？一. 深度学习和强化学习求解组合优化问题思路简介回顾神经网络发展历史，早在1982年就有采用Hopfield神经网络来求解T...
强化学习方法（一）：探索-利用困境exploration exploitation，Multi-armed bandit
热门推荐
Bin 的专栏
03-04 2万+
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。 18年新开一个强化学习方法系列，督促自己能够再不断扩充知识并分享给更多的同学。其实前面写的机器学习方法系列和深度学习方法系列，也都还没有写够，平时工作比较忙，更新很慢，但是我还是会努力更新的。今天开始记录一些强化学习的知识，这些内容以...
tsp问题动态规划python_用Python解决TSP问题(2)——动态规划算法
05-23
TSP问题是指旅行商问题，即在给定的一些城市中，旅行商要找到一条经过所有城市且回到起点的最短路径。这是一个NP难问题，因此通常采用动态规划算法来解决。 以下是一个用Python实现的动态规划算法解决TSP问题的示例代码： ```python import sys import numpy as np def tsp_dp(dist_matrix): n = len(dist_matrix) all_sets = (1 << n) - 1 memo = np.full((n, all_sets), -1) def dp_solve(curr, visited): if visited == all_sets: return dist_matrix[curr][0] if memo[curr][visited] != -1: return memo[curr][visited] ans = sys.maxsize for i in range(n): if visited & (1 << i) == 0: ans = min(ans, dist_matrix[curr][i] + dp_solve(i, visited | (1 << i))) memo[curr][visited] = ans return ans return dp_solve(0, 1 << 0) # 示例用法 dist_matrix = [[0, 10, 15, 20], [10, 0, 35, 25], [15, 35, 0, 30], [20, 25, 30, 0]] print(tsp_dp(dist_matrix)) # 输出结果为 80 ``` 在示例中，我们首先定义了一个`tsp_dp`函数来解决TSP问题。该函数接受一个代表城市间距离的二维矩阵作为输入。接着，我们计算出所有子集的数量，并用`memo`数组记录已经计算过的结果，以避免重复计算。最后，我们实现了一个`dp_solve`函数来递归地计算最短路径。 请注意，此示例仅适用于小型输入。对于大型输入，动态规划算法的时间和空间复杂度可能会变得非常高，因此可能需要使用其他算法来解决TSP问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值