强化学习。

---

一、强化学习简介

1.强化学习的特征

强化学习与其它机器学习范式有什么不同呢？

1）没有监督，仅仅只有一个奖励信号，或者说，不直接判定某个状态或动作的好坏，而是给出一个奖励；

2）没有即时的反馈，或者说，反馈是有延迟的。比如围棋，我们当前的落子并不会直接被赋予奖励，而是整盘棋下完之后才有一个反馈（+1表示赢，-1表示输）；

3）数据是序列化的，数据与数据之间是有关的，而不是i.i.d的；

4）智能体的行为将影响后续的数据，比如在围棋中，我们当前的落子将会影响棋局的走向。

2.奖励

关于奖励的具体定义就不详述了，不过需要注意奖励（reward）和回报（return）是不一样的，回报是累积奖励。

所有的目标都能够被表述为期望累积奖励的最大化。

All goals can be described by the maximisation of expected cumulative reward.

3.智能体与环境

这里值得注意的是，t是在env. step中进行增量操作的。比方说，我们的智能体处在时间步t，此时执行了某个动作a，环境在受到该动作影响之后，产生奖励r，因为奖励的给出是需要时间的，因此该奖励时间步为t+1。

4.状态

history和state是不一样的，所谓history，指的是由observations、actions、rewards所组成的序列，而state则是history的函数，具体如下：

1）history：

2）state：