基于深度强化学习的智能车间调度方法研究

摘要:

工业物联网的空前繁荣为传统的工业生产制造模式开辟了一条新的道路。智能车间调度是整个生产过程实现全面控制和柔性生产的关键技术之一，要求以最大完工时间最小化分派多道工序和多台机器的生产调度。首先，将车间调度问题定义为马尔可夫决策过程，建立了一个基于指针网络的车间调度模型。其次，将作业调度过程看作是从一个序列到另一个序列的映射，提出了一种基于深度强化学习的车间调度算法。通过分析模型在不同参数设置下的收敛性，确定了最优参数。在不同规模的公共数据集和实际生产数据集上的实验结果表明，所提出的深度强化学习算法能够取得更好的性能。

关键词： 工业物联网 ; 智能车间调度 ; 柔性生产 ; 深度强化学习 ; 车间调度方法

0 引言

工业物联网（IIoT, industrial internet of things）作为新一代信息技术与制造业深度融合的产物，通过实现人、机、物的全面互联，为传统的工业生产制造模式开辟了一条新的道路。IIoT中设想的智能车间如图1所示，采用“云-边-端”3层架构，终端各种类型的传感设备综合感知实时生产数据，并通过无线传感器网络实时传输到边缘服务器，在边缘端使用云端训练好的车间调度模型结合订单、物料等系统，对等待生产的作业进行快速排产调度，然后将调度结果通过生产指令的方式下发到生产线执行，以实现整个生产过程的自动化、智能化、无人化。图1 中虚线表示从下层到上层（如端到边、边到云）的数据传输，实线表示从上层到下层的数据传输。显然，在云服务器中利用不断获取的新数据定期训练更新的车间调度模型决定了整个生产计划的性能，能直接影响生产效率，但是现有的车间调度方法还不能很好地满足IIoT的愿景。因此，设计一种高效、智能的车间调度方法具有重要的紧迫性和现实意义。