运筹学状态转移方程例子_强化学习求解运筹学/组合优化问题的优势-小白文,求批判...

本文探讨了强化学习(RL)如何克服传统运筹学在建模和求解大规模复杂问题上的局限。RL的model-free特性使得它能够通过与环境交互学习最优策略,适用于解决动态和随机决策问题,如库存控制、路径优化等。相比于深度学习,RL在组合优化中能跳过不连续点,且不需要大量训练数据,更易于评估解的质量和在复杂环境中的泛化。
摘要由CSDN通过智能技术生成

传统运筹学的研究方法通常分为两步: 首先建立待求问题的数学模型,包括目标函数和约束条件等; 其次设计 算法求解该模型,如分支定界、禁忌搜索以及遗传算法等。对于大规模复杂系统来说,传统运筹学研究方法存在以 下几个方面的问题:

• 难以建立精确有效的数学模型,或者即使建立了数学模型,也是对实际问题的理想化处理;

• 无法解决较大规模问题,因为随着问题规模的增大会出现“组合爆炸”现象,计算的时间和空间复杂度呈指 数级增长;

• 只能求解静态确定性问题,难以考虑动态及随机因素。

RL 能较好地克服传统运筹学建模方法的缺点:

• 在建模难、建模不准确的问题方面,model-free RL 可以通过 Agent 与环境的不断交互,学习到最优策略;

• 在传统方法难以解决高维度的问题方面,RL 提供了包括值函数近似以及直接策略搜索等近似算法;

• 在难以求解动态与随机型问题方面,RL 可在 Agent 与环境之间的交互以及状态转移过程中加入随机因素。 RL 的这些优点使得其适合求解运筹学领域的大规模动态、随机决策问题,如库存控制、路径优化、装箱配载 以及车间作业调度等问题,为运筹优化的研究提供一个新视角。

• RL 对一些组合问题可以产生较好的初始解。以 alphago 为例,它先用 CNN 减少了搜索空间,再用蒙特卡洛 树搜索进行求解。如果转换到遗传算法上来,就是先给出已经很优良的初代种群,这算是一种上游层面的优 化。如果用原始遗传算法一代代进化,对于大规模问题,则进化过程可能非常漫长。

• RL VS DL:

一般而言,深度学习和 RL 适用于解决的问题常常有不同的性质。RL 可以认为就是组合优化领域的东西,做 不确定环境下的序列决策问题,具有不依赖样本的优势。深度学习是学知识他不是自己创造一套逻辑去做决 策,他是模仿别人干活儿,而且只看输入输出之间关系,对问题性质没有太多要求。 RL 相比于 DL 的优势在于:

– 在组合优化中 RL 可以跳过不连续点,不用对离散问题进行连续松弛。

– DL 中的监督方法需要大量训练数据,生成这些数据需要解决大量的 NP 难题问题,这限制了监督方法 的适用性。 相比之下,RL 在给定一组解时通过计算优化目标来评估解的质量相对容易。在大多数 RL 的框架中,其 目标是学习一种随机策略,以高概率采样出高质量的解。

– RL 可以在各种复杂的真实环境中更好地泛化,例如内在动机和辅助任务。与监督学习相比,适应性和 通用性(以及对干扰和未知数据的鲁棒性)可以固有地并入不需要标签的 RL 习算法中。

db666c4cd369fed233c00138a34f7397.png
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值