运筹学状态转移方程例子_强化学习求解运筹学/组合优化问题的优势-小白文，求批判...

传统运筹学的研究方法通常分为两步: 首先建立待求问题的数学模型，包括目标函数和约束条件等; 其次设计 算法求解该模型，如分支定界、禁忌搜索以及遗传算法等。对于大规模复杂系统来说，传统运筹学研究方法存在以 下几个方面的问题:

• 难以建立精确有效的数学模型，或者即使建立了数学模型，也是对实际问题的理想化处理;

• 无法解决较大规模问题，因为随着问题规模的增大会出现“组合爆炸”现象，计算的时间和空间复杂度呈指 数级增长;

• 只能求解静态确定性问题，难以考虑动态及随机因素。

RL 能较好地克服传统运筹学建模方法的缺点:

• 在建模难、建模不准确的问题方面，model-free RL 可以通过 Agent 与环境的不断交互，学习到最优策略;

• 在传统方法难以解决高维度的问题方面，RL 提供了包括值函数近似以及直接策略搜索等近似算法;

• 在难以求解动态与随机型问题方面，RL 可在 Agent 与环境之间的交互以及状态转移过程中加入随机因素。 RL 的这些优点使得其适合求解运筹学领域的大规模动态、随机决策问题，如库存控制、路径优化、装箱配载 以及车间作业调度等问题，为运筹优化的研究提供一个新视角。

• RL 对一些组合问题可以产生较好的初始解。以 alphago 为例，它先用 CNN 减少了搜索空间，再用蒙特卡洛 树搜索进行求解。如果转换到遗传算法上来，就是先给出已经很优良的初代种群，这算是一种上游层面的优 化。如果用原始遗传算法一代代进化，对于大规模问题，则进化过程可能非常漫长。

• RL VS DL：

一般而言，深度学习和 RL 适用于解决的问题常常有不同的性质。RL 可以认为就是组合优化领域的东西，做 不确定环境下的序列决策问题&#x