强化学习之马尔可夫决策

大家学过机器学习的话应该对隐马尔可夫模型(HMM)有所了解，它具有的马尔可夫特性就是指系统的下个状态只和当前状态信息有关，而与更早之前的状态无关，即：

马尔科夫决策过程(Markov Decision Process, MDP)以马尔可夫随机过程为理论基础，马尔科夫决策过程也可以用一个元组(S,A,P,R,γ)(S,A,P,R,γ)来表示。SS是决策过程中的状态集合；AA是决策过程中的动作集合；PP是状态之间的转移概率；RR是采取某一动作到达下一状态后的回报(也可看作奖励)值；γγ是折扣因子。特别地，这里的转移概率与马尔科夫随机过程不同，这里的转移概率是加入了动作AA的概率，如果当前状态采用不同动作，那么到达的下一个状态也不一样，自然转移概率也不一样。转移概率形式化描述是： 马尔可夫奖赏过程：

这个式子的意思是：在t时刻所处的状态是s，采取a动作后在t+1时刻到达s^s的概率下面我们也用一个具体的例子来讲述一下马尔可夫过程：例: (垃圾回收机器人)垃圾回收机器人基于自己电池的含量来决定相应的动作。当电量很高的时候，机器人可以在路上到处寻找垃圾来进行回收，也可以呆在原地不动，等着人类把垃圾送进自己的肚囊。如果电量很低的话，机器人可以选择去充电，也可以选择呆在原地不动，同时，仍然可以选择花费更多的电力去得到垃