传统运筹学的研究方法通常分为两步: 首先建立待求问题的数学模型,包括目标函数和约束条件等; 其次设计 算法求解该模型,如分支定界、禁忌搜索以及遗传算法等。对于大规模复杂系统来说,传统运筹学研究方法存在以 下几个方面的问题:
• 难以建立精确有效的数学模型,或者即使建立了数学模型,也是对实际问题的理想化处理;
• 无法解决较大规模问题,因为随着问题规模的增大会出现“组合爆炸”现象,计算的时间和空间复杂度呈指 数级增长;
• 只能求解静态确定性问题,难以考虑动态及随机因素。
RL 能较好地克服传统运筹学建模方法的缺点:
• 在建模难、建模不准确的问题方面,model-free RL 可以通过 Agent 与环境的不断交互,学习到最优策略;
• 在传统方法难以解决高维度的问题方面,RL 提供了包括值函数近似以及直接策略搜索等近似算法;
• 在难以求解动态与随机型问题方面,RL 可在 Agent 与环境之间的交互以及状态转移过程中加入随机因素。 RL 的这些优点使得其适合求解运筹学领域的大规模动态、随机决策问题,如库存控制、路径优化、装箱配载 以及车间作业调度等问题,为运筹优化的研究提供一个新视角。
• RL 对一些组合问题可以产生较好的初始解。以 alphago 为例,它先用 CNN 减少了搜索空间,再用蒙特卡洛 树搜索进行求解。如果转换到遗传算法上来,就是先给出已经很优良的初代种群,这算是一种上游层面的优 化。如果用原始遗传算法一代代进化,对于大规模问题,则进化过程可能非常漫长。
• RL VS DL:
一般而言,深度学习和 RL 适用于解决的问题常常有不同的性质。RL 可以认为就是组合优化领域的东西,做 不确定环境下的序列决策问题,具有不依赖样本的优势。深度学习是学知识他不是自己创造一套逻辑去做决 策,他是模仿别人干活儿,而且只看输入输出之间关系,对问题性质没有太多要求。 RL 相比于 DL 的优势在于:
– 在组合优化中 RL 可以跳过不连续点,不用对离散问题进行连续松弛。
– DL 中的监督方法需要大量训练数据,生成这些数据需要解决大量的 NP 难题问题,这限制了监督方法 的适用性。 相比之下,RL 在给定一组解时通过计算优化目标来评估解的质量相对容易。在大多数 RL 的框架中,其 目标是学习一种随机策略,以高概率采样出高质量的解。
– RL 可以在各种复杂的真实环境中更好地泛化,例如内在动机和辅助任务。与监督学习相比,适应性和 通用性(以及对干扰和未知数据的鲁棒性)可以固有地并入不需要标签的 RL 习算法中。
![db666c4cd369fed233c00138a34f7397.png](https://i-blog.csdnimg.cn/blog_migrate/ad00e449b1a8800d55fd4af0fa60f9ef.jpeg)