干货！基于模型的多目标强化学习及其在传染病控制的应用

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

新型冠状病毒(COVID-19)等严重传染病对公众健康构成巨大威胁。停课、居家令等严厉管控措施，在效果显着的同时，也带来经济损失。面对新出现的传染病，政策制定者面临的一个关键问题是，在巨大的不确定性下，如何权衡利弊并及时实施适当的干预措施。在这项工作中，我们提出了一个基于多目标模型的强化学习框架，以促进数据驱动的决策并最大限度地降低整体长期成本。具体来说，在每个决策点，首先学习一个贝叶斯流行病学模型作为环境模型，然后应用所提出的基于模型的多目标规划算法来寻找一组帕累托最优策略。该框架与每项政策的预测区间相结合，为政策制定者提供了实时决策支持工具。该方法的有效性被基于真实数据的仿真得到了证明。

本期AI TIME PhD直播间，我们邀请到北卡州立大学统计学博士——万润哲，为我们带来报告《基于模型的多目标强化学习及其在传染病控制的应用》

万润哲：

北卡州立大学统计学博士，导师为宋瑞教授。研究方向主要是强化学习，在线学习，以及最优决策等。在包括 NeurIPS，ICML，KDD 等会议与期刊一作发表多篇论文。获 ASA Norman Breslow Young Investigator 等奖项。

01

 背  景 

自2019年底，我们与新型冠状病毒的斗争已经两年左右了。除了紧急研发疫苗之外，我们首先采取了自我防护，居家，停课，降低人群流动性的策略，控制疫情发展。由于病毒变异的不确定性，应对的疫苗也并没有完善到可以完全免疫，因此那些非药物的决策对于控制疫情发挥了很有效的作用。但是停工，停课等举措带来的社会损失也是不容忽视的，如疫情期间经济下滑非常显著等。

在传染病控制中的决策面临着许多各种各样的挑战，主要在以下三个方面：

1）巨大的干预成本;

2）不确定性对疾病的传染性，各种干预措施的有效性，以及当前的传播状况;