本文概述了深度学习中的强化学习方法，包括离散状态的DQN和连续状态的DDPG算法。DQN适用于离散控制问题，而DDPG则解决了连续动作空间的问题。文中还详细介绍了DPG、PG以及DDPG的工作原理，以及它们如何在actor-critic框架中融合。最后，讨论了如何将强化学习应用于分类和回归问题。
(1) DQN与DDPG
离散状态：
DQN是一个面向离散控制的算法，即输出的动作是离散的。对应到Atari 游戏中，只需要几个离散的键盘或手柄按键进行控制。
然而在实际中，控制问题则是连续的，高维的，比如一个具有6个关节的机械臂，每个关节的角度输出是连续值，假设范围是0°~360°，归一化后为（-1，1）。若把每个关节角取值范围离散化，比如精度到0.01，则一个关节有200个取值，那么6个关节共有20062006个取值，若进一步提升这个精度，取值的数量将成倍增加，而且动作的数量将随着自由度的增加呈指数型增长。所以根本无法用传统的DQN方法解决。
连续状态：
深度确定性策略梯度（Deep Deterministic Policy Gradient， DDPG）算法是Lillicrap 等人利用 DQN 扩展 Q 学习算法的思路对确定性策略梯度（Deterministic Policy Gradient， DPG）方法进行改造，提出的一种基于行动者-评论家（Actor-Critic，AC）框架的算法，该算法可用于解决连续动作空间上的 DRL 问题。
(2) 离散状态空间-DQN
(2.1) Q-learn
最低0.47元/天 解锁文章
736
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
