论文阅读|《制造环境下多AGV调度的强化学习方法》

最新推荐文章于 2024-11-18 16:54:11 发布
最新推荐文章于 2024-11-18 16:54:11 发布
阅读量2k 收藏 14
点赞数
分类专栏： # 强化学习 # AGV调度优化 论文阅读与实现 文章标签： 深度学习 机器学习 车间调度 AGV
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/crazy_girl_me/article/details/120056876
版权

《A Reinforcement Learning Method for Multi-AGV Scheduling in Manufacturing》

ICIT/2018

1 摘要

        这篇文章提出用强化学习求解多AGV流水车间调度问题。AGV在固定轨道上移动，在机器之间运输半成品（semi-finished product）。

        目标：最小化平均工件延迟和总完工时间。

2 论文解读

        强化学习算法应用于车间调度问题的难点：

                （1）如何将生产调度问题转化为强化学习问题。

                （2）如何保证调度问题的可行解可以通过该算法来学习。

2.1 问题描述

         下图中，IJB表示等待加工的工件缓冲区，OJB表示已加工完的工件缓冲区，AGV参与的工作是将从工件从上一工序加工机器的OJB运输到下一工序加工机器的IJB。

2.2 强化学习要素定义

2.2.1 State Space S(状态空间 S)

        状态空间由缓冲区-机器组合以及当前AGVs的位置决定的，对缓冲区OJBi-机器Mi组合的状态Si，Si的值定义为={1,2,3,4}，分别表示为：

        （1）机器Mi空闲且OJBi缓冲区为空.

        （2）机器Mi正在加工OJBi缓冲区为空

        （3）机器Mi空闲但OJBi缓冲区不为空

        （4）机器Mi正在加工且OJBi缓冲区不为空

        于是，整个状态空间定义为m+k（m个机器-缓冲对的状态，即上面的4个+k个AGV所在的位置）个长度的一位向量空间。

        位置定义可见：

 2.2.2 动作空间 A

         对动作空间A={a1,a2,...,am-1},动作ai定义为AGV将一个工件从机器的OJB缓冲区转移至下一机器的IJB，所有工件 都需要被转移至下一机器直至经过所有机器，于是最小的转移次数为n*(m-1)。

2.2.3 状态转移（System Transition Times）

        当AGV将一个工件放入下一机器的IJB时，这个AGV就进入下一个Transporting task,进行下一状态，假设AGV是在Mk的位置并且需要从Mi运输工件至mi+1传输作业，则该传输任务包括两个连续的AGV移动:

        (1)第一个运动是AGV从其当前位置移动到Mi的输出缓冲区，以取走作业。

        (2)第二个动作是将产品移动到Mi+1的IJB。

        如果在Mi的OJBi中没有完成的作业，则第二移动可能被延迟。因此，该AGV必须在机器Mi处定时等待，直到Mi+1完成作业为止。d定义为AGV到达Mi的输出缓冲器之后的等待时间。作业过渡的时间计算如下 :

 2.2.4 奖励函数

        这篇文章它设计了两个奖励函数，它的策略是一部分AGV使用r1作为奖励函数,以最小化AGV等待时间，剩下一部分AGV使用r2作为奖励函数，以此来最小化工件等待时间，最终来引导最大完工时间的下降。

        当AGV完成一个transfer task,它将转移下一个工件到另一个机器，下一机器定义为Mi,AT(i)定义为AGV到达Mi的OJB的时间，由于机器可以处于任何状态，AGV到达时将有两种可能的情况：

（1）Mi处于状态2,AGV必须等待直到机器完成工序。

（2）Mi处于状态3、4，AGV不会延迟直接转移下一工件。

        在第二种情况下，当AGV到达时，存储的所有作业都等待了不同的持续时间，因此AGV将选择等待时间最长的工件，这篇文章添加了一条规则，即如果机器Mi处于状态2，则AGV将不会接这个任务。

         于是，对r1:

        其中，JW(i)是等待时间最长的作业的过程完成时间 ;

        对r2:

   

考虑人机协同的智能工厂多AGV物流调度仿真研究
weixin_70923796的博客
09-01 965
智能工厂的多AGV物流调度作业，对多AGV的调度优化有较高要求，存在上料种类多、频次高、干涉强和动线复杂等问题。鉴于此，从人机协同视角，对智能工厂多AGV物流调度进行仿真研究。分析仿真需求，在空间位置设置和仿真逻辑设置相结合的基础上定义仿真内容。并以某智能工厂为研究对象，对工厂的物流调度进行仿真分析，模拟AGV运行过程以及拖车和笼车上料过程，从而达到优化物流调度方案的目的。...
基于递阶强化学习的多智能体AGV 调度系统
01-15
<p>递阶强化学习是解决状态空间庞大的复杂系统智能体决策的有效方法。具有离散动态特性的<br> A GV 调度系统需要实时动态的调度方法, 而具有M axQ 递阶强化学习能力的多智能体通过高效的强化<br> 学习方法和协作, 可以实现A GV 的实时调度。仿真实验证明了这种方法的有效性。</p>
【论文笔记】A Reinforcement Learning Method for Multi-AGV Scheduling in Manufacturing
m0_48948682的博客
06-15 1980
This paper addresses a multi-AGV flow-shop scheduling problem with a reinforcement learning method. 用强化学习解决多AGV流水线调度问题The objectives dealt with here is to obtain a AGV schedule that minimize the average job delay and total makespan. 目标是最小化工作延时和总时间表In this
基于多智能体强化学习的自动化集装箱码头无冲突AGV路径规划
太剧烈的快乐与太剧烈的悲哀是有相同之点的——同样地需要远离人群！
11-27 7287
AGV冲突预防路径规划是提高集装箱码头运输成本和运营效率的关键因素。研究了集装箱自动化码头(ACTS)水平运输区自动导引车(AGV)的防冲突路径规划问题。根据磁钉导引AGVS的特点，构建了节点网络。通过对对向冲突和同点占领冲突两种冲突情况的分析，建立了求解最短路径的整数规划模型。针对这一问题，提出了多Agent深度确定性策略梯度(MADDPG)方法，并采用Gumbel-Softmax策略对节点网络产生的场景进行离散化。通过一系列的数值实验，验证了模型和算法的有效性和高效性。
博士论文答辩||基于深度强化学习的复杂作业车间调度问题研究
松间沙路的博客
08-15 7548
获取更多资讯，赶快关注上面的公众号吧！ 文章目录 学生时代终将落下帷幕，新的开始等待我继续努力，加油吧，不辜自我，不负时代，感激之情溢于言表，高兴的，难过的，都值得铭记，因为这是我的青春！ 完整PPT可扫码关注公众号后，回复“PPT”获取下载链接！ 博士论文答辩||基于深度强化学习的复杂作业车间调度问题研究 摘要   近年来出现的云计算、物联网、泛在信息、大数据技术等，以及信息物理.
基于递阶强化学习的多智能体AGV调度系统 (2002年)
05-15
递阶强化学习是解决状态空问庞大的复杂系统智能体决策的有效方法。具有高散动态特性的AGV调度系统需要实时动态的调度方法，而具有MaxQ递阶强化学习能力的多智能体通过商效的强化学习方法和协作，可以实现AGV的实时调度。仿真实验证明了这种方法的有效性。
多AGV调度系统的任务调度与路径规划【matlab代码+仿真】
坷拉博士
09-18 1907
✅博主简介：本人擅长建模仿真、程序设计、论文写作与指导，项目与课题经验交流。项目合作可私信或扫描文章底部二维码。在自动导引车（AGV）调度系统中，路径规划与任务调度是关键问题。为了实现高效的AGV调度，首先需要构建准确的环境地图。为此，利用多传感器数据融合技术可以显著提高地图构建的精度。通过融合激光雷达、超声波传感器和视觉传感器等不同数据源，可以有效地解决单一传感器在环境特征描绘上的不足。经过数据融合处理后，障碍物与可行区域在地图中的表现将更加准确，为后续的路径搜索和任务调度提供坚实的基础。
基于多智能体强化学习的自主移动机器人实时订单调度
C_h_o_o的博客
11-22 1737
自主移动机器人(AMRs)越来越多地被用于动态生产环境中实现高效的物料流动。由于环境的快速变化带来的复杂性，以及调度、路径规划和路径执行之间的紧密耦合，在这样的环境中调度运输订单非常困难。对于订单调度，提出了一种使用多agent强化学习的方法，其中AMR agent根据各自的观察学习对订单进行投标。在机器人仿真环境中研究了该方法。结果表明，与常用的调度规则相比，该算法的订单分配效率更高。
登上Nature封面！强化学习+卡尔曼滤波上大分
2401_88556812的博客
11-18 3664
这种结合创新十分有前景，目前多篇成果被顶会顶刊录用，例如"Champion-level drone racing using deep reinforcement learning”这篇登上Nature封面的文章详细描述了Swift系统，一个能够与人类世界冠军级别的无人机竞速选手相匹敌的自主系统。提出了一种新的多AGV路径规划方法PF-DDQN，通过结合PF和RL算法，解决了环境不稳定性导致的神经网络方差问题。通过神经网络和PF的迭代融合过程优化DDQN模型，以获得最优的真实权重值，提高算法的优化效率。
多仓库移动机器人时空约束分层调度策略
C_h_o_o的博客
11-18 1740
工业信息物理系统(ICPS)框架可以减少计算量，提高任务效率。研究了多仓库移动机器人(multi-WMRs)基于icp的调度策略。首先，在拓扑地图建模中考虑可能存在的拥塞问题，将其转化为新的路径时间成本指标。其次，每个机器人独立执行路径规划算法，实现分布式路径计算，兼顾时间成本和目标距离;改进的任务分配策略包括任务评估和决策，它们被认为是规划的一部分，有助于提高任务效率。最后，将完整的调度过程应用到新的ICPS体系结构中，包括成本评估、路径规划、任务分配和碰撞避免。
车间调度问题总结笔记一
l903445981的博客
12-28 8666
一、王霄汉,张霖,任磊,谢堃钰,王昆玉,叶飞,陈真.基于强化学习的车间调度问题研究简述[J].系统仿真学报,2021,33(12):2782-2791.DOI:10.16182/j.issn1004731x.joss.21-FZ0774.1. 车间调度问题建模2. 仿真技术在车间调度问题中的应用3. 车间调度问题的传统解决算法 一、王霄汉,张霖,任磊,谢堃钰,王昆玉,叶飞,陈真.基于强化学习的车间调度问题研究简述[J].系统仿真学报,2021,33(12):2782-2791.DOI:10.16182/j.
多AGV调度系统软件
11-10
一种多AGV调度软件，使用JAVA开发，适合运行在任意运行JRE的操作系统上。
多AGV调度两阶段算法模拟
05-09
多AGV调度系统实现，代码包含5个AGV基于A*算法搜路，基于两阶段算法进行调度
多品牌AGV混合大规模调度
qq_57270427的博客
10-08 537
传统的AGV调度系统通常只能使用同一品牌的AGV进行调度，因为不同品牌的AGV之间存在通信协议、导航算法、机械结构等方面的差异，导致难以实现统一管理和协调。然而，多品牌AGV混合大规模调度系统解决了这个问题，通过先进的技术和智能算法，将来自不同厂家的AGV集成到同一个调度系统中，并实现它们的协同工作。多品牌AGV混合大规模调度系统在物流和制造业等领域具有广泛的应用前景。多品牌AGV混合大规模调度是一种先进的物流调度系统，用于统一管理和协调来自不同品牌的AGV（自动导引车）进行物料搬运和调度的工作。
FMS中基于神经网络的多agv系统多状态调度算法
C_h_o_o的博客
11-14 2152
柔性制造系统(FMS)由于其在灵活性、可维护性和建造成本方面的众多优势，在过去几年里受到了越来越多的关注。AGV运输系统的应用提高了FMS的灵活性，同时也对AGV调度算法提出了更高的要求。本文提出了一种新的AGV多状态调度算法(MSSA)，该算法在AGV利用率和FMS总加工时间之间进行了很好的权衡。与经典的空闲调度策略相比，MSSA在每次计算中调度更多agv和任务，使其优化目标更接近全局优化目标。利用神经网络对行程时间进行预测，提高了算法的时间精度。
基于遗传算法自动化集装箱码头多载AGV调度(一)—模型搭建
赛亚茂的博客
04-22 2134
1.问题 1.1 问题背景 1.2 基本假设 单辆多载AGV调度。 各个集装箱装载顺序不受时间限制,AGV可从任意任务起始点开始运输。 规划目标为运输时间最短。 每个任务有装载点和交付点。 任务数目 NNN NNN个任务全部装卸点 I={1,2,3...2N−1,2N}I=\{1,2,3...2N-1,2N\}I={1,2,3...2N−1,2N} 虚拟起点 2N+12N+12N+1 运输任务c1c_1c1​ 20英尺集装箱 虚拟终点 2N+22N+22N+2 运输任务c2c_2c
动态生产物流环境下物料搬运任务分配与路径规划的强化学习模型
C_h_o_o的博客
11-23 1319
本研究分析了强化学习(RL)在智能生产物流(SPL)物料搬运任务中的应用。基于汽车行业动态生产物流环境中RL模型的经验结果，本文提出了两个贡献。首先，在SPL中集成RL的使用体系结构。其次，本研究定义了与SPL中模型的训练和验证相关的RL的各个元素(环境、价值、状态、奖励和政策)。该研究为制造管理者提供了必要的新见解，并扩展了当前对结合人工智能和SPL研究的相关理解，授予制造公司独特的竞争优势。本文以瑞典汽车制造企业为例，建立了动态生产物流环境下物料搬运任务分配和路径规划的RL模型。
matlab解决带多AGV的生产车间调度研究
qq_40178853的博客
11-27 1746
传统生产车间调度模型很多，也有很多从此方面入手的遗传算法，但是如果加上AGV就不多了，今天讲一下比较简单的带有AGV的生产车间调度问题。一般这样的带有生产调度和AGV调度的问题需要考虑：1、车间内生产的效率最高；2、AGV运输时效率最高，所以其实可以整合为一个求最小化调度时间的问题。
AGV调度算法
m0_63039263的博客
08-11 3891
AGV调度算法的简单探讨
强化学习制造车间AGV调度复现代码
最新发布
03-16
### 关于强化学习在制造车间AGV调度中的应用 强化学习是一种通过试错来优化策略的学习方法，近年来被广泛应用于自动化领域，特别是制造车间的自动导引车（AGV）调度问题。以下是一个基于Python实现的简单示例代码框架，用于模拟强化学习算法解决AGV调度问题。 #### 环境定义 为了简化问题，可以构建一个二维网格环境，其中每个单元格代表工厂的一个区域或工作站。AGV的任务是从起点到终点运输物料，并遵循特定规则完成任务。 ```python import numpy as np import random class AGVEnv: def __init__(self, grid_size=5): self.grid_size = grid_size self.state = (0, 0) # 初始状态 self.goal_state = (grid_size - 1, grid_size - 1) # 终点状态 def reset(self): """重置环境""" self.state = (0, 0) return self.state def step(self, action): """ 执行动作并返回新的状态、奖励和是否结束标志。 动作编码： 0: 向上移动 1: 向下移动 2: 向左移动 3: 向右移动 """ x, y = self.state if action == 0: # 上移 x = max(x - 1, 0) elif action == 1: # 下移 x = min(x + 1, self.grid_size - 1) elif action == 2: # 左移 y = max(y - 1, 0) elif action == 3: # 右移 y = min(y + 1, self.grid_size - 1) new_state = (x, y) reward = -1 # 每次移动都有负奖励以鼓励快速到达目标 done = (new_state == self.goal_state) if done: reward += 100 # 达到目标给予额外正奖励 self.state = new_state return new_state, reward, done ``` #### Q-Learning 实现 Q-Learning 是一种经典的强化学习算法，适用于离散状态空间的小型问题。以下是针对上述环境的Q-Learning实现： ```python class QLearningAgent: def __init__(self, env, learning_rate=0.1, discount_factor=0.9, epsilon=0.1): self.env = env self.learning_rate = learning_rate self.discount_factor = discount_factor self.epsilon = epsilon self.q_table = {} def get_q_value(self, state, action): """获取指定状态下某个动作的Q值，默认初始为0""" if (state, action) not in self.q_table: self.q_table[(state, action)] = 0.0 return self.q_table[(state, action)] def choose_action(self, state): """ε-greedy策略选择动作""" if random.uniform(0, 1) < self.epsilon: return random.choice([0, 1, 2, 3]) # 随机探索 else: q_values = [self.get_q_value(state, a) for a in range(4)] return np.argmax(q_values) def update_q_table(self, state, action, reward, next_state): """更新Q表""" current_q = self.get_q_value(state, action) best_next_q = max([self.get_q_value(next_state, a) for a in range(4)]) td_target = reward + self.discount_factor * best_next_q updated_q = current_q + self.learning_rate * (td_target - current_q) self.q_table[(state, action)] = updated_q def train_agent(agent, episodes=1000): rewards_per_episode = [] for episode in range(episodes): total_reward = 0 state = agent.env.reset() done = False while not done: action = agent.choose_action(state) next_state, reward, done = agent.env.step(action) agent.update_q_table(state, action, reward, next_state) state = next_state total_reward += reward rewards_per_episode.append(total_reward) return rewards_per_episode ``` 此代码展示了如何利用Q-Learning训练一个简单的代理程序来控制AGV的行为[^1]。 #### GitHub资源推荐 GitHub上有许多开源项目实现了类似的强化学习应用场景。可以通过关键词搜索找到更多具体实现案例，例如“Reinforcement Learning AGV Scheduling”。一些流行的库如Stable-Baselines3也支持更复杂的模型训练过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码丽莲梦露

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值