李宏毅深度强化学习(国语)课程(2018) 笔记（五）Q-learning （Continuous Action）

李宏毅深度强化学习(国语)课程(2018) 

李宏毅深度强化学习(国语)课程(2018)_哔哩哔哩_bilibili

        在Q Learning里面，只要能够estimate出Q function就能够保证你能够improve 你的policy，estimate Q function是一个regression（回归）问题，可以轻易的知道model是不是learn的越来越好。但是Q learning不太容易处理Continuous Action。

        解决方法一：采样一系列行动，看哪个行动会返回最大的Q值，将其变成有限动作的问题。但是这种方法的缺点就是采样不完整。

        解决方法二：使用梯度上升来解决这个优化问题（具有较高的计算成本），但是这样做的缺点使计算量过大。

        第三种解决方法：设计一个网络来使得这个优化过程更简单。可以有三个输出μ(s)，Σ(s)，V(s)，再用矩阵运算的方法将他们算到一起。右边第一项的值越小，Q的值越大。μ就是gaussian的mean，∑就是gaussian的variance。由于右边是正定的，又有一负号。所以让a=μ。

         第四种方法，就是不适用Q Learning，还会有别的方法来解决连续动作的问题。