百度飞桨世界冠军带你从零实践强化学习第五天（三岁白话时间）

这里是三岁，这个课程最后一节大课啦，时间飞快，三岁百话的时间又不多啦，好好珍惜吧！

连续动作空间上求解RL

连续动作 vs 离散动作

• 离散动作是可数的无论多大都是可以数的
• 连续的动作是不可数的而且生活中大部分情况是不可数的
  
  随机型策略：通过神经网络获得一个最佳的概率输出的值不少固定的是一个概率P（所有概率之和为一）
  确定性策略：通过神经网络以后经过训练，只要再输入相同的值输出的结果是固定的

离散型动作概率输入神经网络通过softmax函数获得一个概率，并且加和为一。
连续的动作概率输入神经网络通过softmax函数进行映射使得数据在[-1,1]之间。通过实际要求做缩放再给环境。

DDPG

DDPG在原来的DQN网络上进行了增加使得原本的只能够处理离散型数据装换成了可以处理连续型的数据的模型。在原先的基础上添加了一个策略网络，使得机器一边学习网络一边学习策略，称为Actor-Critic结构，他需要通过Q网络的结果来调整自己的策略，不断更新自己的值，Q网络则需要通过环境的反馈进行调整 不断改变结果，尽可能的获得更高的收益。

（目标网络的计算）

PARL DDPG的代码解析