多臂老虎机(Multi-armed Bandit)MAB学习笔记

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

本文中的一些参考资料图片来自北京大学前沿计算研究中心李济宸博士的PPT，再次感谢大佬！

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、MAB是什么？

多臂老虎机问题涉及到概率论，算法分析，强化学习以及博弈论，本质上是一个MDP（Markov decision process）问题，也可以看做是一个多轮的博弈决策过程。常见的类似问题包括网络推荐，动态定价，股票投资等。在这个问题中，每一轮我们会有多种可以选择的action，且涉及到多轮的连续决策，在每次决策后会得到一个reward，奖励是由一些固定的分布来独立产生的。

---

二、辅助反馈 auxiliary feedback

3种经典的feedback

a. bandit feedback
执行某个action后只能得到在该action下是或否的一个反馈信息
b. partial feedback
执行某个action后能得到其他相关的action的反馈信息，如定价问题中，设定价格为10元，反馈为无人购买，则你可以推断价格高于10元的决策得到的反馈也将是无人购买
c .full feedback
执行某个action后能得到其他所有action的反馈信息，如股票问题

---

三、reward model

IID rewards

Adversarial rewards

奖励是任意的
(1) oblivious
(2) adaptive

constrained adversary

random-process rewards

类似于强化学习

structured rewards

---

总结

Hoeffding不等式(霍夫丁不等式):
简单的说，Hoeffding不等式指的是某个事件的真实概率与在伯努利试验中观察到的频率之间的差异。https://blog.csdn.net/qq_43872529/article/details/104362791?utm_source=app 可以参考一下这篇博客