增强学习（一）——马尔科夫决策过程（MDP）

   最近因为研究需要，要开始学习机器学习了。之前只是懂些CNN什么的皮毛，对机器学习的整体认识都比较缺乏，后面我会从头开始一点点打基础，正好也用博客把自己的学习历程记录一下，如果有大牛看到博文中有错误，欢迎指正！

       正好目前有个智能控制的小项目，我就先从增强学习开始。主要的参考文献是吴恩达的专题论文：Shaping and policy search in Reinforcement learning

       增强学习（reinforcement learning,RL）是近年来机器学习和智能控制领域的主要方法之一。在增强学习中有三个概念：状态、动作和回报。

      “状态（state）”是描述当前情况的。对一个正在学习行走的机器人来说，状态是它的两条腿的位置。对一个围棋程序来说，状态是棋盘上所有棋子的位置。

      “动作（action）”是一个智能体在每个状态中可以做的事情。给定一个机器人两条腿的状态或位置，它可以在一定距离内走几步。通常一个智能体只能采取有限或者固定范围内的动作。例如一个机器人的步幅只能是0.01米到1米，而围棋程序只能将它的棋子放在19×19路棋盘（361个位置）的某一位置。

      “回报（reward）”是一个描述来自外界的反馈的抽象概念。回报可以是正面的或者负面的。当回报是正面的时候，它对应于我们常规意义上的奖励。当回报是负面的时候，它就对应于我们通常所说的惩罚。

       因此，增强学习的核心目标就是解决这样的问题：一个能够感知环境的自治agent，怎样学习到最优动作策略π：S->A，它能在给定当前状态S集合中的s时，从集合A中输出一个合适的动作a。