第11章：强化学习

1 强化学习基础

问题1：强化学习中有哪些基本概念？在马里奥找宝藏问题中如何定义这些概念？
        ~~~~~~~        
        ~~~~~~~        马尔可夫决策过程是马尔可夫过程与确定性的动态规划相结合的产物，指决策者周期地连续地或连续地观察具有马尔可夫性的随机动态系统，序贯地做出决策的过程。这个过程包括以下几个要素：

        ~~~~~~~        强化学习的核心任务是，学习一个从状态空间S到动作空间A的映射，最大化累计收益。常用的强化学习算法有Q-Learning、策略梯度，以及演员评判家算法(Actor-Critic)等。

问题2：根据图11.1给定的马里奥的位置以及宝藏的位置，从价值迭代来考虑，如何找到一条最优路线？

问题3：根据图11.1给定的马里奥的位置以及宝藏的位置，从策略迭代来考虑，如何找到一条最优路线？

2 视频游戏里的强化学习

问题：什么是深度强化学习，它和传统的强化学习有什么不同？

3 策略梯度

       ~~~~~~       Q-learing因为涉及在状态空间上求Q函数的最大化值，所以只适用于处理离散的状态空间，对于连续的状态空间，最大化Q函数将变得非常困难。所以对于机器人控制等需要复杂连续输出的领域，Q-learing就显得不太合适了。其次，包括深度Q-learning在内的大多数强化学习算法，都没有收敛的保证，而策略梯度(Policy Gradient)则没有这些问题，它可以无差别地处理连续和离散状态空间，同时保证至少收敛到一个局部最优解。
问题：什么是策略梯度，他和传统Q-learning有什么不同，相对于Q-learning来说有什么优势？

4 探索与利用