【学习笔记】Lesson5-连续动作空间上求解RL(强化学习7日打卡营-世界冠军带你从零实践)

5.1 连续动作空间

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fZNtWFaf-1593168474877)(/home/kevinpang/Documents/强化学习——学习笔记/Lesson5/image-20200623170210439.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-u4RGrIie-1593168474879)(/home/kevinpang/Documents/强化学习——学习笔记/Lesson5/image-20200623170349715.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HZ5rZXCf-1593168474881)(/home/kevinpang/Documents/强化学习——学习笔记/Lesson5/image-20200623170454825.png)]

tanh(x)用来限制输出的action范围在[-1,1],最后需要根据实际情况缩放。

5.2 DDPG(Deep Deterministic Policy Gradient)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SlqeRAle-1593168474882)(/home/kevinpang/Documents/强化学习——学习笔记/Lesson5/image-20200623170625652.png)]

5.2.1 DQN➡DDPG

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hcKvYptx-1593168474883)(/home/kevinpang/Documents/强化学习——学习笔记/Lesson5/image-20200623171018012.png)]

DDPG除了需要学习Q网络,还需要学习策略网络。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bI8OSEzd-1593168474884)(/home/kevinpang/Documents/强化学习——学习笔记/Lesson5/image-20200623171727725.png)]

5.2.2 Actor-Critic结构(评论家-演员)

策略网络——Actor
目标网络——Critic

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7Bts0Xg3-1593168474885)(/home/kevinpang/Documents/强化学习——学习笔记/Lesson5/image-20200623171452009.png)]

目标网络(Target Network)&经验回放(Replay Memory)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-msm84gzW-1593168474886)(/home/kevinpang/Documents/强化学习——学习笔记/Lesson5/image-20200623172033176.png)]

5.3 PARL DDPG

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OSOd0GXy-1593168474887)(/home/kevinpang/Documents/强化学习——学习笔记/Lesson5/image-20200623172535801.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LJhBJgJ8-1593168474887)(/home/kevinpang/Documents/强化学习——学习笔记/Lesson5/image-20200623172800586.png)]

5.3.1 PARL DDPG——model

import paddle.fluid as fluid
import parl
from parl import layers


class 
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值