求解作业车间调度问题的Actor-Critic深度强化学习文献翻译

Actor-Critic Deep Reinforcement Learning for Solving Job Shop Scheduling Problems
求解作业车间调度问题的Actor-Critic深度强化学习

Actor-Critic算法：

强化学习中的一种结合体 Actor Critic (演员评判家), 它合并了 以值为基础 (比如 Q learning) 和 以动作概率为基础 (比如 Policy Gradients) 两类强化学习算法.强化学习中有一个方向是直接基于策略（policy）— 策略搜索（Policy Search）。策略搜索中最近比较火的是策略梯度（Policy Gradient）。针对连续动作空间，使用策略梯度的方法，通过神经网络等参量方法来直接表征策略，然后随着训练不断更新参量使得表征的策略表现越来越好（表现通常用状态-动作值函数Q来表示）。然后纯策略梯度方法不能step-by-step的更新，所以提出了actor-critic算法。actor基本上就是策略梯度，critic就是值函数方法（比如q-learning、SARSA等）用以提供TD error来评判actor部分所确定的策略。

摘要

在过去的几十年中，许多优化方法被设计并应用于作业车间调度问题(JSSP)以寻找最优解。许多方法假设调度结果应用于静态环境，但是现实世界中的整个环境总是动态的。此外，许多意外事件(如机器故障和材料问题)可能会对初始作业计划产生不利影响。这项工作将JSSP视为一个顺序决策问题，并提出使用深度强化学习来处理这个问题。深度学习和强化学习的结合避免了传统强化学习中使用的手工特征，预计这种结合将使整个学习阶段更加有效。我们提出的模型包括行动者网络和批评者网络，两者都包括卷积层和全连接层。行动者网络代理学习如何在不同的情况下表现，而批评者网络帮助代理评估陈述的价值，然后返回行动者网络。本文提出了一种并行训练方法，结合异步更新和深度确定性策略梯度(DDPG)来训练模型。整个网络在多智能体环境下进行并行训练，不同的简单调度规则被视为动作。我们在一个著名的基准问题库中的十多个实例上评估了我们提出的模型。评估结果表明，我们的方法在静态JSSP基准测试问题中是比较的，并且在动态环境中实现了完工时间和执行时间之间的良好平衡。该方法在静态JSSP基准问题中的调度得分为91.12%，在动态环境中的调度得分为80.78%。
作业车间调度问题：
JSSP的主要目的是寻找调度的最优解。这项工作的重点是简单的JSSP，表明一台机器一次只能做一项工作，一项工作的每项操作只分配给一台机器。在这项工作中，设置时间和截止日期也被忽略。
OR-library 是各种运筹学(OR)问题的测试数据集的集合，它还包括许多用于调度的基准问题。它已被用于评估许多研究中调度算法的性能。

图1显示了OR-Library中的JSSP表示，其中每行代表一个作业jobs，每列对应于该操作operation。以作业5为例，作业5必须先在机器1上加工3个单位的加工时间，然后到机器3上进行下一步操作。
传统的运筹学处理jsp的方法：整数规划和分枝定界，处理小规模问题
元启发式方法，包括禁忌搜索(TS) 、波束搜索(BS) 、模拟退火(SA)、遗传算法(GA) ，已经成为解决JSSP问题的替代选择，因为它们可以有效地在大规模问题上找到接近最优的解。