强化学习——强化学习概述

1. 强化学习

（1）定义
一个智能体（agent）怎么在一个复杂不确定的环境（environment）里面去极大化它能获得的奖励。
（2）过程

1: 智能体获取状态，并根据状态输出动作（决策）
2: 环境根据执行的决策输出下一状态和该决策获得的奖励

（3）强化学习与监督学习的比较
（1）强化学习输入的是序列数据，不满足独立同分布。
（2）强化学习无法得到立即反馈
（3）延迟奖励（delayed reward）

通常假设样本空间中全体样本服从一个未知分布，我们获得的每个样本都是独立地从这个分布上采样获得的，即独立同分布（independent and identically distributed，i.i.d.）

（4）强化学习的分类
（1）标准强化学习：手动设置特征 + 强化学习
（2）深度强化学习： 深度强化学习 = 深度学习 + 强化学习。不需要手动设置特征，将学习过程改进为端到端的训练（end-to-end training）。可以用一个神经网络来拟合我们这里的价值函数或策略网络，省去了特征工程（featureengineering）的过程。

2. 序列决策（Sequential decision making）

（1）奖励
奖励是由环境给的一个标量的反馈信号（scalar feedback signal），这个信号显示了智能体在某一步采取了某个策略的表现如何

（2）序列决策
智能体的目的就是选取一系列的动作来极大化它的累积奖励（Cumulative reward）

（3）状态
历史
历史是观测、行为、奖励的序列
$$H_t=O_1,R_1,A_1,O_2,\cdots ,O_t,R_t$$

状态
状态是关于历史的函数
$$S_t=f(H_t)$$

完全可观测的（fully observed）
通常建模程马尔可夫决策过程（MDP）。其中$O_t=S_t^e=$