强化学习基础（一）

1 初始强化学习

强化学习是机器通过与环境交互来实现目标的一种计算方法。

机器和环境的一轮交互是指，机器在环境的一个状态下做一个动作决策，把这个动作作用到环境当中，这个环境发生相应的改变并且将相应的奖励反馈和下一轮状态传回机器

这种交互是迭代进行的，机器的目标是最大化在多轮交互过程中获得的累积奖励的期望

智能体和环境之间具体的交互方式如下图所示。在每一轮交互中，智能体感知到环境目前所处的状态，经过自身的计算给出本轮的动作，将其作用到环境中；环境得到智能体的动作后，产生相应的即时奖励信号并发生相应的状态转移。智能体则在下一轮交互中感知到新的环境状态，依次类推。

智能体有3种关键要素，即感知、决策和奖励

感知。智能体在某种程度上感知环境的状态，从而知道自己所处的现状

决策。智能体根据当前的状态计算出达到目标需要采取的动作的过程叫作决策

奖励。环境根据状态和智能体采取的动作，产生一个标量信号作为奖励反馈

智能体和环境每次进行交互时，环境会产生相应的奖励信号，其往往由实数标量来表示。这个奖励信号一般是诠释当前状态或动作的好坏的及时反馈信号，好比在玩游戏的过程中某一个操作获得的分数值。整个交互过程的每一轮获得的奖励信号可以进行累加，形成智能体的整体回报（return），好比一盘游戏最后的分数值。

在强化学习中，我们关注回报的期望，并将其定义为价值（value），这就是强化学习