强化学习基本概念

一、概述

强化学习是智能体与环境不断交互,从而不断强化自己的决策能力的过程。

首先环境(Env)会给智能体(Agent)一个观测值(Observation)(有时也称状态State),智能体接收到环境给的观测值之后会做出一个动作(Action),环境接收到智能体给的动作之后会做出一系列的反应,例如对这个动作给予一个奖励(Reward),以及给出一个新的观测值。智能体根据环境给予的奖励值去更新自己的策略(Policy)。可以说,强化学习的目的就是为了得到最优的策略。

二、基本概念

1.策略

Policy是智能体的行为函数,是一个从状态到动作的映射,它告诉智能体如何挑选下一个action。
强化学习中有两类policy: Deterministic policy和Stochastic policy。前一种又称确定性策略,即对于这个映射,输入一个状态,输出的是某一个确定的action。后一种是不确定性策略,即对于这个映射,输入一个状态,输出的是每个action的概率。

2.Episode

一个Episode由一系列的observation, reward, action组成。

从initial observation到terminal observation。

3.奖励Reward

奖励Rt是一个反馈信号,是一个数值,表明这个智能体在step t 时做得有多好。

4.Return

又称累积折扣奖励(cumulative discounted reward)。step t 时的return为:

其中γ表示折扣因子,表示你对之后得到的reward的重视程度。0<=γ<=1,是一个由用户决定的参数。

智能体的任务就是去最大化累积奖励。然而由上面的式子我们可以看出,一条样本(即一个episode)对应一个Return,而episode是不确定的,有很多种可能发生的情况,因此Return是一个变量。

由此智能体的任务是最大化累积奖励的期望,即下面的值函数。

5.值函数

一个状态state s对应的值函数为:

这种值函数也称状态值函数。对给定的s, V(s)是一个确定的值。它表示,从state s开始,遵循策略π时的return的期望值。

还有一种值函数称为状态动作值函数

 它表示,从state s开始, 采取动作a,遵循策略π时的return的期望值。

三、强化学习中的两类问题:

智能体的学习过程是一个反复与环境进行交互,不断试错又不断进步的过程。在这个迭代过程中的每一步,我们需要完成强化学习中的两个问题:
1、Prediction 即给定一个策略,求值函数
2、Control 根据值函数寻找最优策略

四、强化学习与传统机器学习的区别

1、不同于传统机器学习的有监督或无监督,强化学习基于的是reward。
2、强化学习的数据是有序的,而传统机器学习的数据是iid的。因此传统机器学习的分布式系统对于强化学习不可用。
3、智能体的动作对于后续接收到的数据有影响。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值