一、强化学习概述

强化学习是什么？

强化学习是面向智能体的学习，智能体通过与环境进行交互来达到预定目标。

强化学习通过试错和优化来进行学习，智能体通过试错后的奖励或者惩罚来学习。

强化学习和机器学习的关系：

机器学习分为三类：监督学习、非监督学习、强化学习。

       监督学习：有即时标签的学习。

      非监督学习：无标签学习。

      强化学习：有延迟奖励的学习。

【例】：给出一批人脸图片，要求做分类

       监督学习：给定人脸的标签（人名），通过数据学习得出人脸属于哪个数据。

       非监督学习：不需要标签，通过学习，判断出哪些图像属于同一个人。

       强化学习：没有标签，只有奖励信号，奖励包括：

                         即时奖励：如果分错了，告诉你错了。

                         延迟奖励：全部分类完毕，告诉你本次分类的得分。

强化学习的直观特性：

     1）没有监督信号，只有奖励信号（具体变抽象）

     2）奖励信号大都是延迟的，不是即时的。

     3）强化学习是优化问题。

     4）强化学习的数据具有时间上的相关性，不满足数据独立同分布假设。

强化学习的组成：

 实：    

      智能体（agent）：是强化学习中需要优化的部分，是可以精确控制的部分。

      环境(Env)：  环境是我们不能直接控制的部分，可以通过智能体来改变环境。

      动作（Action）：动作是智能体与环境交互的媒介，动作的设定要能够改变未来所获的奖励，动作必须对环境起到一定的控                    制作用。   

 虚：

      奖励（Reward）：奖励是一个标量，来衡量智能体在时间t上所做的动作的好坏。智能体或者说强化学习的目标就是最大化累                 计奖励。

      回报（Return）：回报就是累计奖励，智能体在时刻t做出动作a时，会在未来收到奖励序列：Rt,Rt+1,Rt+2...。我们的目的是                  要最大化累计奖励，通用的办法就是将奖励加权求和，定义为回报。

                                       

                强化学习的目标就是最大化回报值。

                衰减系数：回报的权重处理方式。我们对于当下的奖励和未来的奖励的关注度不同，或者说当下的奖励和未来的奖励对                           回报值的影响不同，我们通过权重来处理对于不同时刻奖励的关注度，定义为衰减系数。

                                                   

                          越大，表明我们对未来的关注度越大，越关注长期奖励，越小，表明我们越关注短期奖励。

       策略（Policy）：策略是一个从状态到动作的映射。直观上的描述就是智能体在什么状态下做什么事。强化学习的最终目的就是找到一个策略，使得回报值的期望最大化。