强化学习算法学习

我们可以把强化学习算法分为三类：Policy-based、Value-based和将两者结合的算法（如Actor-Critic）.

Policy-based:输入状态，输出下一动作的概率。如Policy Gradient。

Value-based：输入状态，输出动作的价值。如Q-learning、DQN、Sarsa。

AC架构：输入状态，Actor网络输出动作，Critic根据动作输出对应的价值，将价值传递给Actor网络，来改变动作的概率。如A3C、A2C。

我们也可以把强化学习算法分为两类：On-policy和Off-policy.

On-policy:行动策略和目标策略是同一个，更新价值的策略是既定策略。Sarsa，PG...

Off-policy：行动策略和目标策略不是同一个，更新价值的策略是新策略。Q-learning、TRPO、PPO、DQN...

1、PG算法

贡献：在value-base为主导的世界里，提出了policy-base这一类算法分支。

核心思想：先随机选动作，若这个动作使得最终的回报变大，则增加这个动作的概率；反之减小这个动作的概率。

做法：我们用一个神经网络来代表策略，这个神经网络的输入是状态，输出是动作被选中的概率。用连续函数的优化方法（如梯度上升，优化的目标是使回报最大）来求最优策略。