![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
强化学习
文章平均质量分 81
*晴儿*
这个作者很懒,什么都没留下…
展开
-
【论文笔记】Deep Reinforcement Learning for Page-wise Recommendations
1、Introduction这里主要介绍了:强化学习是可以根据用户实时的反馈,捕捉用户的动态喜好,,实时更新策略(policy),还能实现长期收益的最大化。与其他不同的是,这里是生成一个网页的物品(网页版商城),是2D的,而不是1D的流式推荐(手机版商城)。(ps:对于手机用户来说,一般用户最关注的是第一个商品,把他最感兴趣的放在第一个就好了,但是对于页面来说,很难说用户最喜欢关注哪个地方,每个人的关注点可能不太一样,第一行第一个不一定是最好的,所以需要学习。)2、模型结构2...原创 2020-07-12 14:27:21 · 876 阅读 · 5 评论 -
【论文笔记】M-Walk: Learning to Walk over Graphs using Monte Carlo Tree Search
本文用了强化学习,在知识图谱上游走,寻找目标节点。一、简介大概意思就是,在知识图谱上,给出一个起始节点和查询(query),然后找到目标节点。图G包含节点和边。如下图,给出起始节点Obama,query:citizenship,目标节点是USA。我们要学习一个方法来预测。我们我们将f作为强化学习力的agent。他要学习搜索策略(search policy)训练的时候,我们给出,让f自己学习路径,如果他走到,就给他一个正的reward,或者0分。学完后只给出,预测...原创 2020-09-25 19:14:19 · 1002 阅读 · 0 评论 -
李宏毅强化学习笔记【5.Imitation Learning】
如果没有reward,怎么办和环境互动,但不能得到reward,只能看着expert的demonstration学习。判断开车撞人扣多少分很难,收集人开车的例子,人对话的例子是比较简单的。不知道怎么定reward,但可以收集范例。1.Behavior Cloningexpert做什么,机器就做什么一样的事情。收集expert的state和action,然后学习一个ne...原创 2020-01-28 11:24:48 · 494 阅读 · 0 评论 -
李宏毅强化学习笔记【4.Sparse Reward】
没有reward,训练很难。因为一开始机器什么都不知道,就靠随机。如果随机一个概率特别小的才有reward,reward非常稀疏,就非常难学习,因为做什么动作都一样糟糕。1.reward shaping环境有一个固定的reward。我们还可以设计一些reward,这些不是真正的reward,但是可以引导机器去做一些你想要他做的事情。增加好奇心:鼓励冒险,真实的s与n...原创 2020-01-27 13:11:02 · 550 阅读 · 0 评论 -
李宏毅强化学习笔记【3.Actor-Critic】
复习策略梯度policy gradient计算在某一个state,采取action a的概率。到游戏结束为止,获得多少reward。G很不稳定。除非sample很多。复习Q-learning用期望代替sample,value-based第一种方法算V,用π和环境做互动,看到s之后,累计reward期望值是多少。第二种方法,用π,当再s采取a,累计reward是多少...原创 2020-01-25 19:58:45 · 355 阅读 · 0 评论 -
李宏毅强化学习笔记【2.Qlearning】
Qlearning value-based学习critic:并不直接采取行为,只评价现在的行为有多好/不好。假设现在actor叫π,看到state s,累计reweard的期望有多大。第一个游戏图,未来可能会获得很多分数。第二个,可能分数很少(怪少,防护罩消失)。critic:给出state,给定π,才能算得多少分。不是单独评价state的好坏。怎么预测Monte-C...原创 2020-01-23 15:01:47 · 423 阅读 · 0 评论 -
李宏毅强化学习笔记【1.PPO】
策略梯度Policy Gradientpolicy决定actor的行为,给定一个输入,输出行为公式和之前讲的一样R是一个τ的总分!!!!!!!!!!!不是单个s,a的rewardtip1:add baseline 之前说过tip2:这个action之前的reward与这个action无关,所以只计算该action和action之后的reward。...原创 2020-01-17 17:47:23 · 311 阅读 · 0 评论 -
李宏毅强化学习笔记【0.强化学习导论】
agent观察(observation即为state)environmentagent对做一些动作(action),影响environment因为有一些影响,environment给agent一些reward,告诉他是好的影响还是坏的影响agent要学习,如何采取动作才能让期望的reward最大有时候reward很稀疏,大部分为0(什么都没发生),只有少数有数值,这是一个...原创 2020-01-14 16:14:04 · 364 阅读 · 0 评论