LinUCB算法理解

最新推荐文章于 2023-12-05 15:25:43 发布
最新推荐文章于 2023-12-05 15:25:43 发布
阅读量653 收藏
点赞数
分类专栏： Recommend system
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bbbeoy/article/details/111560841
版权
张博208
关注
专栏目录
推荐系统遇上深度学习(十三)--linUCB方法浅析及实现
简书博客搬家测试账号
08-13 1961
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！ 对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。 本文来自天善智能社区专栏作者[文文](https://ask.h...
UCB算法升职记——LinUCB算法
LegenDavid's warehouse
05-02 1万+
UCB再回顾 上回书说到，UCB这个小伙子在做EE(Exploit-Explore)的时候表现不错，只可惜啊，是一个不关心组织的上下文无关(context free)bandit算法，它只管埋头干活，根本不观察一下面对的都是些什么样的arm。 进一步送UCB去深造之前，我们再把UCB算法要解决的问题描述一下： 面对固定的K个item（广告或推荐物品），我们没有任何先验知识，每一个
论文｜LinUCB论文的思想解读、场景应用与痛点说明
Thinkgamer博客
12-23 1万+
文章目录概述Disjoint LinUCBHybrid LinUCB评估算法实验说明实验位置数据选择特征选择特征降维实验结论注意点LinUCB 的重点场景应用 本篇文章主要介绍一下雅虎在2012年发表的论文 【A Contextual-Bandit Approach to Personalized News Article Recommendation】，同时由于最近在做用户留存方面的工作，也涉...
linucb.pdf
05-22
在推荐系统中，通常把待推荐的商品作为MAB问题的arm。UCB是context-free类的算法，没有充分利用推荐场景的上下文信息，为所有用户的选择展现商品的策略都是相同的，忽略了用户作为一个个活生生的个性本身的兴趣点、偏好、购买力等因素，因而，同一个商品在不同的用户、不同的情景下接受程度是不同的。故在实际的推荐系统中，context-free的MAB算法基本都不会被采用。
contextual-bandits-recommender:在Python中实现LinUCB和HybridLinUCB
05-19
首先，让我们理解LinUCB算法。LinUCB是基于线性模型的上下界策略，它在每个时间步选择最有可能带来高奖励的动作（即推荐项），同时考虑不确定性。在推荐系统中，动作就是推荐的项目，奖励通常由用户对推荐的反馈来...
混合线性 UCB 强盗学习算法L Li_python代码_代码_下载
06-08
混合线性 Upper Confidence Bound (UCB) 算法，简称为混合线性 UCB 或 LinUCB，是在线学习领域中的一个关键算法，尤其在多臂强盗问题（Bandit Problem）中广泛应用。该算法结合了线性回归模型与上界信心策略，旨在...
Bandit算法与推荐系统
CSDN 人工智能
05-03 1万+
作者简介：陈开江，天农科技CTO，曾任新浪微博资深算法工程师，考拉FM算法主管，个性化导购App《Wave》和《边逛边聊》联合创始人，多年推荐系统从业经历，在算法、架构、产品方面均有丰富的实践经验。 责编：何永灿，欢迎人工智能领域技术投稿、约稿、给文章纠错，请发送邮件至heyc@csdn.net 本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》 推荐系统里...
每天一个RL基础理论(10)—Exploration in Bandits
Nemo的博客
12-19 499
在最简易的问题规模下，经典的探索与利用策略Upper Confidence Bound和Linear UCB在Bandits问题下的理论分析、推导、结果。为Tabular MDP的exploration问题做铺垫
推荐系统详解（六）MAB问题
zqzwzd的博客
05-07 6043
简单却有效的Bandit算法 我在之前的文章中表达过，推荐系统的使命就是在建立用户和物品之间的连接。建立连接可以理解成：为用户匹配到最佳的物品；但也有另一个理解就是，在某个时间某个位置为用户选择最好的物品。 推荐就是选择 生活中，你我都会遇到很多要做选择的场景。上哪个大学，学什么专业，去哪家公司，中午吃什么等等。这些事情，都让选择困难症的我们头很大。头大在哪呢？主要是不知道每个选择会带来什么...
多臂老虎机问题——Bandit算法
我的博客
04-06 2521
多臂老虎机（Multi-Armed Bandit）问题是一类强化学习问题，它的名称来自于赌场老虎机的臂。在多臂老虎机问题中，一个代理需要在有限时间内选择多个臂中的一个，每个臂都有一个未知的概率分布，代理的目标是最大化其收益。举个例子，假设有一家网站想要增加其广告收入。该网站可以在其网页上放置多个广告，每个广告都有不同的点击率。多臂老虎机问题就是在这种情况下，如何决定在每次访问中展示哪个广告，以最大化广告收入。
17 | 结合上下文信息的Bandit算法
最新发布
qq_37756660的博客
12-05 864
今天分享了一种上下文有关的 Bandit 算法，叫做 LinUCB，它有这么几个优点：1. 由于加入了特征，所以收敛比 UCB 更快，也就是比 UCB 更快见效；2. 各个候选臂之间参数是独立的，可以互相不影响地更新参数；3. 由于参与计算的是特征，所以可以处理动态的推荐候选池，编辑可以增删文章；当然，LinUCB 以及所有的 Bandit 算法都有个缺点：同时处理的候选臂数量不能太多，不超过几百个最佳。因为每一次要计算每一个候选臂的期望收益和置信区间，一旦候选太多，计算代价将不可接受。
推荐系统常用的策略算法—Bandits
一个平平无奇的甜妹
12-10 3474
0. 推荐系统存在的经典问题 推荐系统里面有两个经典问题：EE 问题和冷启动问题。前者涉及到平衡准确和多样，后者涉及到产品算法运营等一系列东西。bandit 算法是一种简单的在线学习算法，常常用于尝试解决这两个问题，本文为你介绍基础的 bandit 算法及一系列升级版，以及对推荐系统这两个经典问题的思考。 Exploration and Exploitation(EE问题，探索与开发)是计算广告和推荐系统里常见的一个问题，为什么会有EE问题？简单来说，是为了平衡推荐系统的准确性和多样性。 EE问题中的
推荐系统的EE问题及Bandit算法
LegenDavid's warehouse
03-21 7455
经常听身边的人说起使用推荐系统的感受，“某宝某东就是看什么给推什么”，使用者对推荐系统产生厌倦；也有听做推荐系统的同学抱怨推荐的冷启动问题，如何去尝试新用户的兴趣点，尝试到什么时候地步才算真正掌握了用户的兴趣，用户的兴趣发生改变如何灵活的调整推荐策略。这些，都与今天聊到的E&E问题有关，而Bandit算法是解决E&E问题的一种思路。本文首先描述E&E问题的及策略框架，然后介绍几个代表的Bandit
为AI从业者/研究生/研究员专门定制的全网唯一高端AI训练营
Paper weekly
10-05 532
加入AI行业拿到高薪仅仅是职业生涯的开始。现阶段AI人才结构在不断升级，这也意味着如果目前仍然停留在调用一些函数库，则在未来1-2年内很大概率上会失去核心竞争力的。几年前...
机器学习十大经典算法之岭回归和LASSO回归（学习笔记整理）
热门推荐
weixin_43374551的博客
11-04 10万+
在线性回归模型中，其参数估计公式为$\beta=(X^TX)^{-1}X^Ty$，当$X^TX$不可逆时无法求出$\beta$，另外如果$|X^TX|$越趋近于0，会使得回归系数趋向于无穷大，此时得到的回归系数是无意义的。解决这类问题可以使用岭回归和LASSO回归，主要针对==自变量之间存在多重共线性==或者==自变量个数多于样本量==的情况。
推荐系统中的EE问题——Bandit算法
iwtbs
11-19 2126
文章目录先验知识朴素Bandit算法Epsilon-Greedy算法汤普森采样UCB算法LinUCB Exploration and Exploitation(EE问题，探索与开发）是推荐领常见的问题，主要是为了平衡准确性和多样性。 Exploitation是指我们要迎合用户兴趣给他推荐他想要的，Exploitation指的是怕用户腻，所以要推一些新的东西，万一用户感兴趣呢是吧。 多臂老虎机问题就很像推荐这个场景，我们不知道每个机器吐钱的分布，只能根据现有的知识摇，如果一直摇所知最高的就是Exploitat
推荐系统中的冷启动和探索利用问题探讨 (下)
wh_springer的专栏
08-22 1449
LinUCB算法回到推荐列表的场景，推荐系统为用户推荐物品。user和item都可以用一系列特征表示。用户特征包括用户的统计历史行为、人口学属性信息；物品特征包括描述信息、类别信息等等。在这种场景下，探索和利用也必须是个体用户级别上实施，因为不同用户看到相同的物品的反馈差异较大。LinUCB算法是一种基于上下文特征（用户特征、物品特征）的UCB算法，基于特征进行探索和利用。该算法结合上下文特征，选择
推荐-基于bandit的主题冷启动在线学习策略
AcceptedLin的博客
06-19 424
什么是EE问题？又叫exploit－explore问题。exploit就是：对用户比较确定的兴趣，当然要利用开采迎合，好比说已经挣到的钱，当然要花；explore就是：光对着用户已知的兴趣使用，用户很快会腻，所以要不断探索用户新的兴趣才行，这就好比虽然有一点钱可以花了，但是还得继续搬砖挣钱，不然花完了就得喝西北风。
使用LinUCB算法解决MAB问题，并写出代码
06-13
好的，关于LinUCB算法解决MAB问题，我先简单介绍一下。 MAB问题（Multi-Armed Bandit Problem）是指在一组未知的概率分布中选择最优的分布，而LinUCB是一种常用的解决MAB问题的算法，其基本思想是在每一轮选择中，选择当前最优的臂，同时对所有臂的概率分布进行学习和更新。 下面是使用Python实现LinUCB算法的代码： ```python import numpy as np class LinUCB: def __init__(self, num_arms, dim, alpha=0.1): self.num_arms = num_arms # 臂数量 self.dim = dim # 上下文维度 self.alpha = alpha # 学习率 # 初始化参数 self.A = [np.eye(self.dim) for i in range(num_arms)] self.b = [np.zeros((self.dim, 1)) for i in range(num_arms)] def choose_arm(self, context): # 上下文转换为列向量 context = context.reshape((self.dim, 1)) p = [0] * self.num_arms for i in range(self.num_arms): # 计算UCB A_inv = np.linalg.inv(self.A[i]) theta = np.dot(A_inv, self.b[i]) p[i] = np.dot(theta.T, context) + self.alpha * np.sqrt(np.dot(context.T, np.dot(A_inv, context))) # 选择UCB最大的臂 return np.argmax(p) def update(self, arm, reward, context): # 上下文转换为列向量 context = context.reshape((self.dim, 1)) self.A[arm] += np.dot(context, context.T) self.b[arm] += reward * context ``` 其中，`num_arms`表示臂数量，`dim`表示上下文维度，`alpha`表示学习率，`A`和`b`分别表示参数。 在使用时，首先需要初始化一个`LinUCB`对象，然后在每一轮选择中，调用`choose_arm`函数选择臂，得到奖励之后，调用`update`函数更新参数。 具体使用方法可以参考以下示例代码： ```python # 示例数据 num_arms = 3 dim = 2 contexts = np.array([[1, 2], [3, 4], [5, 6]]) rewards = [1, 0, 1] # 初始化LinUCB对象 linucb = LinUCB(num_arms, dim) # 选择臂并更新参数 for i in range(num_arms): arm = linucb.choose_arm(contexts[i]) linucb.update(arm, rewards[i], contexts[i]) ``` 这就是LinUCB算法解决MAB问题的基本实现方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张博208

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值