强化学习指南：用Python解决Multi-Armed Bandit问题

最新推荐文章于 2023-05-05 15:57:34 发布
最新推荐文章于 2023-05-05 15:57:34 发布
阅读量4.1k 收藏 21
点赞数 5
分类专栏： 强化学习 AI程序员 机器学习 概念理解 Python 程序员
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41697507/article/details/89630828
版权
本文深入探讨了多臂强盗问题（MABP）及其在临床试验、网络路由、在线广告等领域的应用。文章介绍了Epsilon贪婪、衰减Epsilon贪婪、softmax探索和上置信界（UCB）等策略，并通过Python实现展示了如何用UCB解决广告点击率优化问题。在1500次试验后，UCB策略成功选择了最佳广告，证明其在MABP中的有效性。
摘要由CSDN通过智能技术生成

Introduction

你在镇上有一个最喜欢的咖啡馆吗？ 当你想喝咖啡时，你可能会去这个地方，因为你几乎可以肯定你会得到最好的咖啡。 但这意味着你错过了这个地方的跨城镇竞争对手所提供的咖啡。

如果你一个接一个地尝试所有咖啡的地方，品尝你生活中更糟糕的咖啡的可能性会非常高！ 但话说回来，你有可能找到一个更好的咖啡酿造者。 但是所有这些与强化学习有什么关系呢？在这里插入图片描述
我很高兴你问。

我们的咖啡品尝实验中的困境源于不完整的信息。换句话说，我们需要收集足够的信息来制定最佳的整体战略，然后探索新的行动。这最终将最大限度地减少整体糟糕的体验。

多臂强盗是这种类比的简化形式。它用于表示类似的问题，找到解决它们的好策略已经帮助了很多行业。

在本文中，我们将首先了解实际上是多臂强盗问题，它是现实世界中的各种用例，然后探讨如何解决它的一些策略。然后，我将向您展示如何使用点击率优化数据集在Python中解决此挑战。

目录

  • 什么是多臂强盗问题？
  • 用例
  • 解决方案策略
    • 没有探索
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Adam婷
关注
专栏目录
订阅专栏
强化学习 K-摇臂赌博机模型 Multi-armed Bandit，Python代码
JerryZhang__的博客
11-11 3271
强化学习 K-摇臂赌博机模型 Multi-armed Bandit，Python代码1.K摇臂赌博机模型2.仅探索和仅利用3.epsilon greedy与softmax算法4.Python 代码 1.K摇臂赌博机模型 K-摇臂赌博机（MAB,Multi-armed Bandit）是一种单步强化学习任务理论模型。K-摇臂赌博机有k个摇臂，投入一枚硬币后，按下其中一个摇臂，每个摇臂会以一定的概率吐...
bandit:多臂匪（MAB）问题的算法
05-05
土匪 多臂匪（MAB）问题的算法
多武装强盗问题陈述
weixin_44955407的博客
11-25 338
化学习汤普森抽样解决多武装匪徒问题
多臂赌博机，multi-armed bandit problem（1）：
热门推荐
mmc2015的专栏
04-26 2万+
感觉多臂赌博机方面的中文文献很少，偶尔碰到，记录一下，方便其它人学习。感谢原作者：http://mlyixi.byethost32.com/blog/?tag=%E5%A4%9A%E8%87%82%E8%B5%8C%E5%8D%9A%E6%9C%BA 假想一个风投他想着他的收益最大化,这时他总会面临一个两难: 何时去投资那些已经成功的公司,何时去投资那些还没有成功但具有很大潜力的
Multi-Armed bandit --------强化学习（含ucb python 代码）
qq_42105426的博客
03-21 5291
　前言：阅尽千章泪成江，看了Ｎ人写的博客,感觉很多人为让人看不懂而写的，我写的目的就是为了简单了解，入门很不深 １.什么是多臂老虎机？ 一个赌徒，要去摇老虎机，走进赌场一看，一排老虎机，外表一模一样，但是每个老虎机吐钱的概率可不一样，他不知道每个老虎机吐钱的概率分布是什么，那么每次该选择哪个老虎机可以做到最大化收益呢？这就是多臂赌博机问题（Multi-armed bandit probl...
n-armed bandit problem
blueblue_god的专栏
11-03 1568
n-armed bandit problem的ε-greedy算法1、实验的目的    这个实验的目的是想说明，只要一个action被选择的次数足够多，其Qt(a)就会收敛到Qt*(a)，即，该action的action value。而使用ε-greedy算法，能够最终找到action value最大的那个action。2、仿真实验过程    首先要明白，凡是仿真，都是要重复实验的
Multi-Armed-Bandit-Based-Client-Scheduling-for-Federated-Learning:联合学习中基于多武装强盗的客户调度文章中的代码隐含
03-27
联合学习中基于多武装Bandit的客户端调度文章中的代码实现： 简短说明为了最大程度地减少FL（联合学习）培训的时间消耗，这项工作考虑了在理想情况下和非理想情况下的CS（客户端计划）问题。 对于理想情况，作者...
多臂老虎机（Multi-armed Bandit）问题及其强化学习解决方案
【多臂老虎机（Multi-armed Bandit）问题及其强化学习解决方案】 ## 第一章：引言 ### 1.1 背景介绍 多臂老虎机问题起源于赌场老虎机，涉及如何在多个选择中平衡探索未知和利用已有信息的决策问题。最初应用于...
Master-Thesis-2015-Contextual-Multi-Armed-Bandits
06-04
James Neufeld 建议 [1] 贝叶斯 Bandit 算法可以应用于这个问题。 基本思想是您将定义一个随机质量指标，其每个评论的分布取决于评论收到的赞成票和反对票。 普通排名算法尝试估计此质量指标的单个最佳值。 ...
SMPyBandits:Single单人和多人游戏的研究框架:slot_machine:多臂匪徒（MAB）算法，为单人游戏（UCB，KL-UCB，Thompson ...）和多人游戏实现所有最新算法（MusicalChair，MEGA，rhoRand，MCTopRandTopM等）。.在PyPI上可用
05-02
SMPy强盗 适用于单人和多玩家多臂Bandits算法的开源Python软件包。 此存储库包含用编写的数值环境的代码，用于在 :slot_machine: 单人和多人算法。 Sphinx生成的完整文档位于。 您还可以在上在线浏览由提供支持的广泛基准测试的结果（代码在）。 快速介绍 它包含Internet上最完整的单人（经典）土匪算法集合（ ），以及所有最新的。 我非常积极地关注与多臂强盗（MAB）研究相关的最新出版物，并且通常会很快实施新算法（例如，文章分别介绍了 ， 和 （ ，针对CORRAL ，针对SparseUCB） ）于2017年7月在COLT上提出， LearnExp来自NIPS 2017论文，而kl-UCB ++来自ALT 2017论文。）。 最近的例子是2018年5月的论文中的klUCBswitch ，以及2018年8月的论文中的MusicalChairNoSensing 。
BanditDungeon：使用多臂强盗算法的演示项目
02-06
强盗地牢演示 一个简单的Unity项目，展示了多臂强盗算法。 总览 在最简单的情况下，有一个包含两个箱子的房间。 打开箱子会产生钻石（好东西）或重影（坏东西）。 多次打开相同的箱子会根据产生钻石的一些潜在概率产生不同的钻石和幻影序列。 例如，概率为0.5的箱子表示将产生50-50的钻石和鬼影的混合，而概率为0.9的箱子表示将产生十分之九的钻石（约十分之一）。 注意，每个箱子都有其自己的真实概率，该主体（在这种情况下，是决定打开哪个箱子的实体）不知道的。 代理人每次选择箱子时，在发现钻石的情况下要么获得正面奖励，要么在发现鬼影的情况下获得负面奖励。 代理商的目标是在许多试验中最大化其总奖励-在每
MATLAB强化学习_多臂赌机问题_softmax策略
01-18
MATLAB强化学习代码包，用于解决多臂赌机问题的softmax策略 "I thought what I'd do was I'd pretend I was one of those deaf-mutes, or should I?"
2.1 A k-armed Bandit Problem
eowyn0406的博客
08-29 1208
考虑如下问题：有k个不同的选择（或者说动作）摆在你的面前，你需要不断重复地选择其中一个，每次你选择其中一个之后，会根据你选择的动作给你一个数值奖励，这个数值奖励符合正态分布。你的目标是在经过一定的次数后，比如1000次后，获得的期望奖励之和最大。 这就是原始形式的K摇臂游戏机问题，以模拟一种投币游戏机命名，它是只有一个摇臂的，而不是k个摇臂。每次选择一个动作就像拉下游戏机上的某个摇臂（拉杆），奖...
多臂赌博机，multi-armed bandit problem（3）：
mmc2015的专栏
04-26 6781
感觉多臂赌博机方面的中文文献很少，偶尔碰到，记录一下，方便其它人学习。感谢原作者：http://mlyixi.byethost32.com/blog/?cat=35 在上两节我们讨论的UCB系列算法面对的情况是静态的,即各臂的分布参数不会改变,于是我们就"乐观地面对不确定性"--根据采样平均值尽快地确定那个最好的臂. 但是在现实世界中收益结构是更复杂的,非静态的
强化学习汤普森抽样解决多武装匪徒问题
weixin_26729375的博客
10-11 1262
介绍(Introduction) Reinforcement learning is really cool. For instance, its used to train the Robot Dogs to walk. Let me give you an quick example, once you have created a Robot Dog, we can implement an...
Bandit算法学习[网站优化]01——Multiarmed Bandit 算法引入
weixin_47692652的博客
01-03 622
Bandit算法学习[网站优化]01——Multiarmed Bandit 算法引入
从零开始强化学习一：Bandit Problem
最新发布
gghhaagg的博客
05-05 1122
从零开始强化学习一：Bandit Problem
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Adam婷

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值