From:主要来自松间沙路hba博士大佬的文章 https://blog.csdn.net/hba646333407
1 简介
1.1 概述
狭义的APS是指专门用于生产排程和生产调度的系统,即高级计划与排程(Advanced Planning and Scheduling),广义的APS包含了企业资源计划(ERP)系统的相应功能模块以及通过固定格式设置好的电子表格。由于ERP中的APS模块和排产用的电子表格功能有限,很难实现大规模复杂的运算,所以一般情况下,大家所谈的APS系统是指狭义的APS系统。
1.2 优势
- 提高订单准时交货率
- 缩短订单生产过程时间
- 快速解决插单难题减少机台产线停机、等待时间
- 减少物料采购提前期
- 减少生产缺料现象
- 减少物料、半成品、成品的库存
- 减少生管、生产的人力需求
- 让工作更轻松、更高效 让工厂更赚钱
1.3 APS、MES、ERP之间的关系
-
ERP是整个企业的信息管理系统,企业的经营、财务、生产、销售等都在ERP下运行。
ERP在生产排程方面功能有限,不能满足企业详细排程的需求。 -
APS系统作为独立的生产计划模块,成为ERP系统的补充。
-
MES系统是生产现场数据采集监控系统,记录整个生产过程并实现产品的可追踪性。
这三个系统组成企业信息化管理的基本框架。
1.4 仓储执行系统(WES)与 APS
WES重点在执行优化上,WCS逐渐发展为WES也是大势所趋。
WMS 重点在于物流的数据管理,追踪物料在配送中心、仓库的流进、流出和库内周转过程。
WCS 重点在自动化设备的控制,替代人工完成仓储作业。
WES 重点在执行的优化上,比如作业任务必须有先后才符合控制逻辑,比如物流路线的选择要符合设备负载均衡的原则等等。WES具备作业排程和调度功能。
1.5 入门
生产相关
需要了解不同的生产方式(流程、离散)、生产计划(主生产计划、物料需求计划、制造资源计划)、生产布局(工艺、产品)、周转方式(顺序、平行、平顺)、质量控制、库存管理等,可参照下面这本书进行学习,同类书籍也可以。
调度相关
调度的目标是将工件安排到合适的资源的同时确定其开始加工时间和结束加工时间,在满足能力约束、顺序约束等约束条件下满足一个或多个目标性能,本质上调度是一种组合优化问题。调度问题的约束网络是一种特殊的图数据结构,我们将这种图称之为析取图(disjunctive graph),在《求解作业车间调度问题的高效算法研究》中介绍了析取图模型的原理。调度的不同类型、约束和目标在《调度:原理、算法和系统》一书中有详细介绍。《车间调度及其遗传算法》中介绍了 如何将多种编码方式转换为调度的,可以有效地帮助理解析取图中的约束。
软件方向
做软件就涉及前后台和数据库,所以需要掌握或清楚一般做系统开发所需要的语言或工具。
算法方向
算法的基础是数学,所以掌握一些运筹学知识、图表达、智能优化算法是必要的。
行业介绍
《APS傻瓜教材》
2 算法
计算智能(CI)是一组受自然启发的计算方法和途径,用于解决复杂的现实世界问题。CI主要包括模糊系统(Fuzzy Systems,FS)、神经网络(Neural Networks,NN)、群体智能(Swarm
Intelligence,SI)和进化计算(Evolutionary Computation,EC)。计算智能技术具有强大、高效、灵活、可靠等诸多优点,其中群体智能和进化计算是计算智能的两个非常有用的组成部分,主要用于解决优化问题。
神经网络
强化学习求解车间调度 100篇文献-万字总结 || 强化学习求解车间调度
强化学习求解生产调度问题最早可追溯于1995年,自此国内外学者竞相开始研究,并且随着深度强化学习的迅猛发展,近年来其在调度中的应用呈上升趋势。
如下分别从强化学习的基本组成元素——状态、动作、奖励、探索和利用策略等方面综述使用RL求解车间调度问题时的应用情况。
- 状态:状态用于描述系统环境的本质特征,包括整体特征和局部特征。状态空间是所有可能的状态所组成的集合。把智能体需要作出决策的状态称为决策状态。
- 动作:动作是在某个决策状态下可以采取的行为,动作空间是在每个决策状态下所有可以选择的动作所构成的集合。在调度问题中,动作一般是指通过一定的方式确定下一个需要加工的工件。针对不同的调度问题和调度应用,这种方式也有不同。
- 奖励:当确定了强化学习所赖以生存的环境,学习器将学习到的行为作用于该环境,在模型的驱动下,调度系统将变迁至下一个状态,同时给出即时的奖励作为对刚才已执行行为的短期评价,奖励函数的定义与调度求解目标紧密相关。强化学习通过接收环境的奖励反馈,不断修正自身选择行为的策略,因此奖励函数的定义从本质上反映了调度优化目标,由于强化学习是最大化长期的累积奖励,因此对于最小化的目标可以采取取相反数的方法。
- 探索和利用:权衡“探索”(Exploration)和“利用”(Exploitation)是应用强化学习算法要解决的一个重要问题。“探索”是指选择非当前最优的行为,探索新的行为(采取以前没有执行过的行为),“探索”有可能提升该行为的值,从而发现更好的行为,从长远来看可能获得更多的回报;“利用”是指选择当前最优的行为,这样可以充分利用已经学习到的经验知识,短期内可得到较多的奖励。过多的探索可能会削弱算法的效率和效果,而过度利用可能会导致陷入局部最优。平衡“利用”和“探索”的常用方法[132]有贪婪方法、ε-贪婪方法、ε-递减策略、Softmax等。
结论
强化学习算法基于状态或行为值直接面向长期目标进行学习和决策,它不需要学习环境的完整数学模型,可以从以前解决过的实例或仿真实验中学习并积累经验,通过与环境的交互过程来学习策略。它不像监督学习那样需要精确地学习目标,也无需监督和教导,而是通过采取不同的行为并利用环境的反馈进行学习,从而针对不同的系统状态做出优化的反应。强化学习具有良好的可扩展性,经过大量样本的离线训练,可以习得针对一类调度问题的优秀策略,实现动态调度条件下求解时间和求解质量的均衡。
根据目前强化学习在调度领域应用的总结,可以得出如下研究结论:
1、深度强化学习在调度领域崭露头角;
2、调度状态需要人工设计;
3、调度动作以选择启发式规则为主;
4、奖励函数设计视问题而定;
5、强化学习求解调度时考虑约束较少;
基于深度强化学习的复杂作业车间调度问题研究 博士论文答辩||基于深度强化学习的复杂作业车间调度问题研究
群体智能
单词“Swarm”指的是一群无序移动的个体或对象,如昆虫,鸟,鱼。更正式地讲,群体可以看作是相互作用的同类代理或个体的集合。通过建模和模拟这些个体的觅食行为,研究人员已经开发了许多有用的算法。“群体智能”一词是由Beni和Wang[1]在研究移动机器人系统时提出的。他们开发了一套控制机器人群的算法。
在80年代后期的前期工作基础上,90年代先后开发出了两种成功的算法,分别是1992年的蚁群优化算法和1995年的粒子群优化算法。
Karaboga给出了群体智能的充分性条件。Karaboga认为,当且仅当群体智能满足自组织和分工两个条件时,一组同类智能体才能表现出群体智能。
自组织
这是一个起初是无序的群体,通过群体中个体间的局部相互作用,使运动变得有序的过程。Bonabeau等人将自组织分为四种策略:
- 正反馈:这是从输出系统中提取的信息,并传递给输入系统,以促进适当结构的形成。正反馈为群体智能提供多样性。
- 负反馈:用于平衡正反馈,稳定集体模式。负反馈指的是群体智能中的利用。
- 波动:这些与系统的随机性有关。波动在这一过程中提供了新的情况,有助于摆脱停滞。
- 多重交互:这提供了向社会中多个个体学习的方式,并提高了群体的整体智能。
分工
分工有助于不同的专业个体同时执行不同的任务,使的群体能够处理搜索空间中变化的情况。下面列出的是一些常用和成功的群智能算法:
- 粒子群优化(Particle Swarm Optimization,PSO)
粒子群优化(PSO)的灵感来源于鸟类的群集或鱼群的聚集。 - 蜘蛛猴优化(Spider Monkey Optimization,SMO)
- 人工蜂群算法(Artificial Bee Colony Algorithm,ABC)
- 蚁群优化(Ant Colony Optimization,ACO)
- 细菌觅食优化(Bacterial Foraging Optimization,BFO)
- 萤火虫算法(Firefly algorithm)
进化计算
植物、动物、鸟类等生物在不断地进化,使自己适应动态的环境。与其他候选人相比,那些足够强壮(更适应环境)的候选人更有可能产生能够存活下来的后代。达尔文进化论和自然选择法则是这种进化的原因,进化计算的灵感就是来自于生物进化。
进化计算(EC)主要用于求解优化问题。
有很多不同的算法都属于EC,如遗传算法(GAs)、遗传规划(GP)、进化规划(EP)和进化策略(ES)。
人们已经提出了不同类型的进化算法(EA)
- 遗传算法:对遗传进化的建模。
- 遗传编程:基于遗传算法但个体都是程序(用树表示)。
- 进化规划:来源于对进化中自适应行为的模拟(表现型进化)。
- 进化策略:侧重于策略参数的建模,这些参数控制了进化的变异,即进化的进化。
- 差分进化:与遗传算法类似,只是所使用的繁殖方法不同。
- 文化进化:是对一个群体的文化进化和文化如何影响个体的隐性型和表现型的进化的建模。
- 协同进化:这里的初始“哑”个体是通过协作或相互竞争来进化以获得生存的必要特性。
3 数字孪生
4 思考
APS的现状和未来
工业4.0、工业互联网、中国制造2025,都是以制造为本质(最终服务于制造),自感知、自决策、自执行、自适应、自学习为特征(智能的体现),数据为基础(系统输入),数字化、信息化、网络化、自动化为前提(智能化的必要条件),以CPS为支撑,以人、机(智能制造装备)和资源等深度融合为核心(信息),单元、车间、工厂、供应链和产业集群为载体(智能的发展层级),贯穿于研发、设计、生产、试验、管理、服务等制造活动各个环节(产品全生命周期管理),目标是实现高度的自动化、柔性化和智能化。
解决企业痛点
企业数字化转型的根本目的就是降本增效,前者我们在过去的二三十年中,一直在通过ERP、MES等信息化手段在解决,人、机、料、法、环、测等生产要素实现了数字化管理,少人化、无纸化、自动化大大降低了人工成本、材料成本、时间成本。
信息化建设本质上只是通过计算机代替了原来的一些手工记录和操作,生产管理和组织方式并没有发生根本性变革,那么隐藏在手工操作背后的真实问题依然存在。近几年来,企业侧也意识到了这个问题,MES、ERP仅仅是信息管理系统,它们把需要做决策的数据管理了起来,而决策过程仍然是拍脑袋,当脑袋不够大时,智能优化的需求就凸显出来。
APS在企业内扮演的就是工业大脑的角色,它和MES、ERP的本质区别在于:MES、ERP是事后系统,仅记录和刻画已经发生或者并不准确地计划(粗能力计划)未来的事情,是一种辅助决策系统,而APS是事前系统,是真正意义上的决策优化系统,可以基于现有的数据,通过智能化手段,针对各种复杂的场景做出最优化的预测性决策。
工业软件市场庞大,APS如雨后春笋但较为分散
总体来说,中国工业软件市场庞大,市场规模逐年增长,但市场渗透率仍然处于较低水平,未来市场前景辽阔。在外部压力、市场环境、政策扶持和需求刺激四大因素的刺激下,以APS为代表的决策优化系统如雨后春笋,商简智能、杉数科技、安达发、永凯、美云智数,当然还有一些高校实验室(华科、上交等),都开始在这个领域大展身手。
APS的未来在于通用性和定制化相结合
对于APS厂商来说,要想快速占领市场,项目制已经是不可取的,超长的实施周期会带来巨大的人财物成本,通用化和标准化的产品才有出路,但是做到放之四海而皆准又几乎是不可能的,所以一定是在通用和标准的基础上,配合个性化定制,进行少量的开发便能适应新的应用场景和调度问题。
柔性作业车间调度问题研究-思考
- 目标维度
车间生产除了要尽快地生产完工件(制造期最短),往往还要求机床利用率要高(利用率),同时又不能相差太大(负载均衡),所以目标之间往往是相互制约的,因此多目标的研究还是要比单目标研究的实际意义大一些的。对于多目标,一个研究的点就是如何去权衡这些冲突目标,目前较为流行的就是pareto支配解集。 - 时间维度
静态调度问题是指在调度时假设所有的工件均已就绪,而实际车间中,订单并不是一次性下的,因而投料也就会分不同批次,导致调度更像是对一个连续的过程进行优化,这方面可以考虑工件随机抵达。 - 机床维度
从机床角度考虑,最常见的应该就是机床故障,机床故障影响需要在其上加工的工件的开工时间,从而扰乱调度计划,最近开始研究的比较多的是将机床故障建模成一个过程,即不是瞬间故障,而是逐渐老化,在此过程中,机床的加工时间会发生变化,在学术上将这种现象称为恶化效应。现在有部分车间采购的高端机床具有两个或多个工作台,其中一个工作台在加工时,可以在其他闲置的工作台上装夹工件,从而节省准备时间,这就是多工作台调度。 - 工艺维度
柔性作业车间调度中每道工序可以有多台机床选择,这里的柔性体现在机床,因为机床功能类似,所有可以加工不同的工序,但其实有时工艺也可以是柔性的,不管按照哪条工艺路线加工,都可以加工出工件,这就是多工艺路线的调度问题。当选定了某一工艺路线并已经按照此路线进行加工,但加工过程中因为某些原因不得不更改工艺路线,这时就要考虑工艺变更对调度造成的影响。还有一种比较特殊的工艺就是装配工艺,其工艺路线是由多条分支并行加串行路径组合而成的,由此得到的调度问题就是装配调度问题,装配调度问题需要额外考虑不同装配件之间的约束关系,目前这方面的文章虽然有但是较少,并且一般都是针对实例进行求解。 - 工人维度
工人可能是车间中最不确定的了吧,人的心情也会阴晴圆缺,干活效率也会每天不尽相同(注:这里可能有人会想,都是自动化的数控机床,效率为啥还会受工人影响,这个问题其实比较复杂,以后有时间会针对这个问题单独写一篇文章,这里先透露一下,这个问题制约了我国航空制造业的效率),所以时间维度中的工时不确定很大一部分就是在于此。还有一方面,工人对加工过无数次的工件相当熟悉,所用时间也就相对较少,对于新品加工时间就较慢,所以对工人来说是有一个学习和适应的过程的,学术上将这个现象称为“学习效应”,这也是导致加工时间变化的原因。 - 物流维度
现在很多人都在提“无人车间“、“黑灯车间“、“智能车间“等,实现这个的前提是得有自动化的物流,传统的有传送带,现在更加智能的有EMS、AGV、RGV等,通过这些装备可以使调度更加准确,同时也增加了调度的复杂性,因为运输时间不能再忽略不计。之前我们实验室做过一个西安航空制造厂的项目,对一个400台机床的车间进行建模仿真,由于问题比较复杂,基本没用上什么优化的方法,目前也没看到有什么比较好的相关论文,所以这一块还是比较有价值的。 - 辅助资源维度
辅助资源包括刀具、夹具、量具等,这些资源也会影响调度,因为开始加工前这些辅助资源不准备好就会影响开工时间,同时对于数量比较少的辅助资源,还会存在竞争现象,因此调度过程中不仅要考虑机床还要考虑辅助资源,这就是著名的多资源调度。
车间调度动态知多少
动态调度相对静态调度而言的。静态调度通常具有以下特征:
- 被调度的工件集合是确定的,不考虑订单插单或取消的情况;
- 工件的加工时间是确定的,并且在安排计划时全部工件都已到达,不考虑动态抵达;
- 加工工件的机器是连续可用的,不考虑机器故障。
在静态调度问题中,所有条件都是已知确定的,是在所有因素不改变的前提下得到的方案,但是在实际生产环境中,这几乎是无法保证的,因为动态是绝对的,静态是相对的,车间中总有一些不可预知的事件发生,导致静态调度得到的计划方案丧失可执行性,这时就不得不针对异常因素进行动态调度,以适应环境变化后的车间现场。
动态事件可以根据动态因素的来源分为以下几类:
关于动态调度类型大致可以归纳为以下三类:完全反应式调度、预-反应式调度和鲁棒调度。还有学者将预-反应式调度细分为预-反应式调度和鲁棒预-反应调度。
深度强化学习与APS的一些感想
市场很大,但是通用产品很难,每个车间每个工厂的需求都不同,生产模式因产品不同而不同,最主要是组织管理模式也都体现在生产过程中。
前一二十年,我们做了很多信息化的基础工作,一方面,这些工作积累了大量的过程数据,这为aps奠定了良好的基于数据进行优化的基础,另一方面,随着信息化水平的提升,人的欲望也在提升,我们不再仅仅满足于管理数据,而是要充分利用数据,人的思维观念的改变才是aps市场打开的原始驱动力。
一条可行的道路是,以项目制进入市场,过程中不断沉淀产品通用功能,打造原型系统,满足客户60%的需求,可以让用户快速体验产品,再根据试用过程中的问题进行调整和定制化,最终理想的效果就是形成的产品可以满足用户90%的需求,这样的产品才能规模化推广,快速占领市场。
著名信息化专家某教授曾说过,工业没有和消费互联网那样的大数据,我很赞同这个说法,其实车间里的整个生产节拍并不是很快,产生的数据也有很大一部分是无法直接使用的,所以对于像强化学习这种训练效率不高的算法来说,这些数据量太少了,很难训练出一个有效的模型来适应复杂的场景。所以就需要花一定的时间来慢慢积累数据,或者建立车间数字孪生模型,通过模拟数据来训练强化学习代理,甚至可以期待,未来是不是会出现那种效率极高的深度强化学习算法或是别的算法,我想会有的。
仿真器
Jasima
Jasima是一款用于制造和物流的java仿真器,在离散事件仿真和计算机实验的架构上,主要关注制造/物流系统的建模与分析。早在2008年(2017年被SimPlan AG收购)就已经开始了对Jasima的开发,由于是基于Java,因此可以进行灵活地集成和扩展,同时支持与Eclipse集成,为开发提供了广泛的工具基础(ide、调试器、分析器、版本管理……)。
慧都APS
生产计划排程的目的是为车间生成一个详细的短期生产计划。排产计划指明了计划范围内的每一个定单在所需资源上的加工开始时间和结束时间,也即指出了在给定资源上定单的加工工序。排产计划可以通过直观的甘特图形式给出。
参考
1、hba–转行做调度,你准备好了吗
2、hba–数字化制造系统参数化建模及仿真
3、hba–初识Jasima-Jasima中的事件和消息
4、hba–初识Jasima-调度仿真系列教程预告
5、hba–群体智能和进化计算-介绍
6、hba–和商简智能CEO关于APS的聊后感
7、hba–作业车间调度问题特征与调度效率相关性的研究Correlation of job-shop scheduling problem features with scheduling efficiency
8、hba–关于智能制造的思考——以中航工业为例
9、hba–100篇文献-万字总结 || 强化学习求解车间调度
10、hba–博士论文答辩||基于深度强化学习的复杂作业车间调度问题研究
11、hba–最全面的理解 | 工业互联网的前世今生
12、hba–柔性作业车间调度问题研究-思考
13、hba–复杂作业车间调度-单机调度问题研究
14、hba–基于启发式和智能优化算法的多约束柔性作业车间分级调度
15、hba–车间调度动态知多少
16、hba–深度强化学习与APS的一些感想
17、hba–(吐血整理)118篇强化学习求解车间调度文章(英文)大全
18、hba–30篇强化学习求解车间调度文章(中文)大全
19、hba–APS傻瓜教材读后感之为什么需要人机交互调度
20、hba–深度强化学习调度研究的心路历程
21、一文带你了解APS排产系统!
22、APS是什么系统?如何选择APS系统?
计算智能简介
23、仓储执行系统(WES)
24、三分钟了解APS系统中生产计划排程模块的基本原理!