李宏毅深度强化学习(国语)课程(2018) 笔记（三）Q-learning （Basic Idea）

 李宏毅深度强化学习(国语)课程(2018)

 李宏毅深度强化学习(国语)课程(2018)_哔哩哔哩_bilibili

        Q-learning是基于值函数的方法，并不是learn的policy，而是learn的critic，critic并不直接采取行为，而是评价现在的行为有多好，或者多不好。

​

        两种衡量的方法，一种是Monte-Carlo（MC）方法，一种是Temporal-difference（TD）方法。

        Monte-Carlo方法，让actor去和环境做互动，给critic看。critic估测，当前的状态s接下来的cumulated reward会有多大。但实际操作上，不可能把所有的state通通都扫过，所以通常是一个network，对于一个network来说，就算是一个state从来没有看过，也可以估测出一个value的值。

        训练这个network的时候，就是(sa,Ga)，(sb,Gb)，希望Ga与越近越好，Gb与越近越好。

         MC方法需要玩到游戏结束，才能update network。TD基于下式计算，不需要将游戏玩到底。按照与越接近越好的loss 训练下去。

         MC与TD方法对比，TD方法比较常用。

         举例说明

         介绍另外一种critic，当action无法穷举，使用左图。

        虽然表面上learn一个Q function，来评估一个actor π的好坏，但是，实际上有了这个Q function，我们就可以做reainforcement learning。

        假设有一个初始的actor π，用π跟环境互动，collect data，然后learn 一个actor π的Q value。

        learn 出一个Q function以后，下面介绍一个方法，可以找到一个新的policy π＇，要比原来的policy π要好，以下定义了什么是“好”。其实，π＇是依赖于π的，没有具体的参数。注意：下式适合离散动作，后面解决连续动作问题。

         证明新的policy π＇，要比原来的policy π要好。

        技巧1：target network 

        技巧2：Exploration

        如果每个动作没有采取过，那么估出来的动作是不准确的，所以需要探索。

         技巧3：Replay Buffer

        Batch里面是不同的policy的采样，data越divergence越好。这里experience是不是来自于同一个policy π并没有关系，只是用来估测值。

         Q-learning算法流程：