强化学习第三章总结（一个简单的总结，因为没时间敲公式，先放在这里，之后慢慢收拾）

MDPs are a classical formalization of sequential decision making, where actions influence not just immediate rewards, but also subsequent situations, or

states, and through those future rewards.

 

 

 

 

 

 

 

 

The Agent Environment Interface

 

 

 

 

 

 

 

强化学习的目的是从交互中学习如何实现一个目标。

 

Learner 或者说决策者被称为agent。Agent交互的对象被称为环境。Agent 选择一个动作，环境给出rewards并更新state。agent的目标是最大化rewards。

 

更确切的说，agent和environment在一个离散的时间部署上进行交互t=1,2,3,4,5。在每个时间部署上，agent收到一个环境的状态的表示, $S_t \in S$, 然后agent选择一个动作， $A_t \in Action(s)$，这里意思是说，在s状态下所有能做的动作。一个时间步数之后，Agent收到一个奖励，

这里第二个R是奖励集合，奖励集合是一个标量，是实数集的子集，随后agent 切换到下一个状态S_{t+1},这个过程循环往复会产生一个时间序列。

 

 

在一个有限的 MDP中，state集合，action集合，rewards集合数量都是有限的，也就是说，

都是有限集合。在这个条件下，我