强化学习(1)

课程资料参见：https://github.com/zhoubolei/introRL

课件：https://github.com/zhoubolei/introRL/blob/master/lecture1.pdf

数列决策过程

机器感知和机器决策结合起来

和监督学习对比学习

监督学习：有标签

强监督学习会希望数据尽量的i.i.d（IID即随机的）可以消除数据之间的相关性

无监督学习：无标签

强化学习：

1.先尝试在返回结果，通过不停地试错返回结果

2.数据以序列形式输入，监督形式样本是独立的

关注如何让agent稳定的提升

卷积神经网络之后将特征提取和分类合在一起

如何让agent取得长期rewards

环境状态和agent状态相同时等价的时候环境全部可以观测

强化学习agent的三个组成成分：

1.决策函数police function：用来选取下一步的动作

2.价值函数value function：对当前状态进行估价（评估进入当前的状态会为后面带来多大的影响）

价值函数越大进入这个状态越有利

3.模型（modle）：agent对环境进行的整个理解，决定了下一步如何进行

马尔科夫决策过程

• 基于价值函数的agent：不使用决策函数，在价值函数中推测police
• 基于police的agent：不使用价值函数
• 两个都用

通过模型使用不同分类：

看会否有环境转移模型