强化学习（RLAI）读书笔记第一章介绍

前言 ：sutton的《reinforcement learning: an introduction》新版已经基本完成，结合他在学校开设的课程609，进行强化学习的系统学习。609的课程资料等等在这里。博客主要包括书籍的读书笔记，可能会包括609的作业。

 

第一章： Introduction

1.1 reinforcement learning

强化学习是学习怎么做，怎么从状态映射到动作来最大化一个数值奖励（reward）信号。学习单元不是被安排执行某个动作，而是去尝试来发现哪个动作能够得到最大的反馈。最重要的是动作不仅是被当前反馈影响而是会被之后所有可能状态的反馈决定。通过试错（trial and error）搜索和延迟奖励（delayed reward）这两个特点是强化学习的最重要的特征。

强化学习是一个ing，同时是一个问题，这个问题的一类解法以及对问题和解法的研究。所以强化学习有三个含义。

强化学习和监督学习不同。监督学习给出一堆有标签的训练数据，对于每个样例都有一个标签或者动作。系统的主要动作可能就是判断样例属于哪一类。强化学习也不同于无监督学习。无监督学习是从一堆无标签的数据中找出其中的结构化信息。而强化学习是去最大化一个奖励信息而不是去寻找隐藏的结构化信息。

强化学习中独有的两种挑战：一、explore和exploit的交换。为了获得更多的奖励，agent必须选择当前已知的最优动作。但是为了发现这种最优动作，agent又必须去探索更多的