强化学习基础

强化学习的一些基础

强化学习一词来源于行为心理学，人工智能把环境交互中趋利避害的学习过程称为强化学习，强化学习是一种机器学习方法，强化学习能够使Agent能够在交互式环境中年通过试验并根据自己的行动和经验反馈的错误来进行学习。一个典型的强化学习例子就是机器人走迷宫。

创建一个基本的强化学习问题，我们需要了解以下内容：
1.智能体(agent)，是强化学习系统中的决策者和学习者，它可以做出决策和接受奖励信号。一个强化学习系统中可以有一个或多个智能体。
2.环境(environment)，是强化学习系统中除智能体以外的所有事物，它是智能体交互的对象。环境本身可以是确定性和不确定性的，可能是已知的，也可能是未知的。
3.状态，也就是Agent的现状,例如agent的位置。
4.奖励，它是强化学习系统的学习目标，学习者在行动后会接受到来自环境的反馈。强化学习的目标就是最大化在长时间里的总奖励。
5.策略，也就是将Agent的状态映射到动作的方法。
6.价值，也就是Agent在特定状态下采取行动所得到的报酬。
所以说，为了建立一个最优策略，Agent需要不断探索新的状态，同时最大化其所获奖励累积额度，这也被称作试探和权衡。
强化学习与监督学习，无监督学习的区别：
对于监督学习，学习者知道每个动作的正确答案，可以通过逐步对比来学习；
对于强化学习，训练样本没有任何标记，只有一个延迟的，奖励信号。学习者不知道每个动作的正确答案，只能根据奖励信号来学习。
对于无监督学习，无监督学习旨在发现数据之间隐含的结构；而强化学习有明确的数值目标，即奖励，它们的研究目的不同，所以，无监督学习适用于聚类等任务。
强化学习要最大化一段时间内的奖励，需要关注更加长远的性能。监督学习希望将学习到的结果应用到未知的数据，要求结果可推广，可泛化；而强化学习可以将学习结果应用到训练的环境中。
学习与规划：学习是针对环境模型未知的情况，agent不知道环境如何工作，状态如何改变，以及每一步的回报是多少，agent仅通过与环境交互，采用试错的方法改善其策略。当智能体已经知道或近似知道环境如何工作时，可以考虑使用规划的方法，此时agent并不直接与环境交互，而是利用其拟合的环境模型获得状态转移概率和回报，在此基础上改善其策略。
探索与利用：探索i是指agent在某个状态下试图去尝试新的行为，以图挖掘更多的环境信息。而利用是根据已知信息，选取当下最优的行为来最大化回报。
预测与控制：也叫评估与改善，在解决一个具体的马尔可夫决策问题时，首先需要解决关于预测的问题，即评估当前策略的好坏，具体做法是求解在既定策略下的状态值函数，而后在此基础上解决关于控制的问题，即对当前的策略不断优化， 知道找到一个最优策略来最大化未来奖励。