【百度飞桨paddlepaddle】强化学习7日打卡营

最新推荐文章于 2021-10-21 15:55:01 发布
最新推荐文章于 2021-10-21 15:55:01 发布
阅读量376 收藏 1
点赞数
文章标签： 神经网络 算法 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48959726/article/details/106971803
版权

文章目录

写在前面

强化学习是一门来源于心理学的学科，每个人都是过去经验的总和
你过去的经验，早就现在的你。

day1

第一天真的是纯小白入门。作业也就是一键运行，熟悉百度自己的PARL强化学习框架。顺带说一下，这个框架是两届强化学习世界冠军使用的框架。使用此框架不仅能够快速入门强化学习，还能使用框架提供的基于注释的并行算法（两行代码搞定问题，可谓超级强大）。
在这里插入图片描述
value-based & policy based
在这里插入图片描述
VB是确定性的策略
PB是随机性的策略

day2 基于表格的方法求解RL

强化学习的探索和利用算法：
在这里插入图片描述
第二天的作业是使用迷宫游戏来让我们学习和了解Sarsa和Q-learning两种算法。强化学习方法总的来说分为两大类：value-based和policy-based方法。本次的两种方法都是属于value-based的。话不多说 直接上两种方法的伪代码：
SARSA
在这里插入图片描述
sarsa其实是一种on-policy的策略，sarsa优化的是它实际上要去执行的策略，直接拿下一步一定要去执行的action来优化q-table，on-policy用一种策略去做action的选取，也用一种策略去做优化。所有sarsa它可以知道自己下一步可能会有危险，所有它的策略会比较保守。
Q-Learning
在这里插入图片描述
从代码片段看两者的区别
在这里插入图片描述
在这里插入图片描述
on-policy和off-policy区别
在这里插入图片描述

day3 基于神经网络的方法求解RL

对于gym中的迷宫，悬崖或者是自己定义的迷宫，状态都是可数的，但是往往在生活中很多问题的状态数都是不可数的。对于可数的状态数，我们可以使用一个q-table来状态这些状态，那么对于状态不可数的怎么办呢？这个时候，DQN就应运而生了。DQN=Q-Learning+神经网络
在这里插入图片描述

值函数近似

使用带参数的q函数来近似q表格。可以有多对一的近似或者是一对多的近似。
在这里插入图片描述

DQN两大创新点

对于DQN并没有严格的公式能够证明其收敛，但是DQN引入了两大技巧来使收敛。

Experience Replay: 解决样本的相关性和利用效率的问题

在Supervised Learning解决归类问题（classification）的应用场景中，我们的训练数据是经过shuffle 打乱的，这是因为如果不打乱，很可能前面的几个mini batch都是归于同样的class的（我们训练的时候是一小批一小批数据来训练的，这样算出的gradient会比单个数据更准确，也减少了单个数据训练带来的overhead）。这样导致的问题就是我们的神经网络先学会了把所有图片归类成为一个class，然后又学会了把图片归类为另一个class（毕竟在几个batch内只看这一个class的图片）。这样的学习过程就让神经网络不能收敛，因此我们需要在batch里面有不同class的图片，这样学习就容易收敛，不会偏向于一个class。

在DQN里面也是相同的，一局游戏的前后其实有挺高的关联，例如Breakout打砖块游戏这一个state跟下一个state其实基本上只差了一个砖块的不同。

这样很容易导致DQN学习的问题，为了减少这个问题的出现，我们使用Experience Replay，把过去的 (

最低0.47元/天 解锁文章
weixin_48959726
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【一】飞桨paddle【GPU、CPU】安装以及环境配置+python入门教学
丨汀、的博客
03-10 1万+
目录、 【参考博客】 1.PaddlePaddlle强化学习及PARL框架 【参考博客】 https://blog.csdn.net/qq_40089637/article/details/108315643?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.baidujs&dist_request_id=1328603.58385.16151899216504563&
强化学习7日打卡营——个人心得总结
undirectlookable的博客
06-26 895
目录背景一些关键概念功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 背景 无意间看到了百度AIStudio的7日强化学习入门训练营，一向觉得强化学习很高大上，但又不太明白其中原理，甚是好奇，这种面对小白的入门课程再适合我不过了。而
演员评论家算法
yy031的博客
10-21 573
import gym, os from itertools import count import paddle import paddle.nn as nn import paddle.optimizer as optim import paddle.nn.functional as F from paddle.distribution import Categorical #实施网络 device = paddle.get_device() env = gym.make("CartPole-v0")
百度飞桨强化学习7日打卡营
weixin_46730871的博客
06-27 215
1、百度飞桨强化学习7日打卡营7天的学习，内容丰富，有课程预习、理论学习、实战实践。 课节1: 预习课程 课节2: 强化学习(RL)初印象 课节3: 基于表格型方法求解RL 课节4: 基于神经网络方法求解RL 课节5: 基于策略梯度求解RL 课节6: 连续动作空间上求解RL 课节7: 结营典礼、事项说明 2、从第2天开始，线上教学内容就又有理论基础介绍，又有案例介绍及作业思路分析了，需要投入足够的时间去学习，才会有效果。从多个基本算法着手介绍强化学习的概念和方法，以及百度PARL平台应用。 3、还是上次小结
强化学习7日打卡营-SASAR/Q-learning/DQN
weixin_43585812的博客
06-26 442
课程链接： https://aistudio.baidu.com/aistudio/education/group/info/1335 强化学习 智能体Agent从环境Environment中学习，根据状态State，执行动作Action,并根据环境反馈受益reward，指导更好的动作。强化学习是一种延时性奖励 监督学习——>认知：是什么 强化学习——>策略：怎么做 On-policy vs Off-policy On-policy：兼顾探索 Off-policy：更大胆 算法库及框架库
《PaddlePaddle从入门到炼丹》七——强化学习
夜雨飘零
01-16 4128
本章介绍使用PaddlePaddle实现强化学习，通过自我学习，完成一个经典控制类的游戏，相关游戏介绍可以在Gym官网上了解。我们这次玩的是一个`CartPole-v1`游戏，操作就是通过控制滑块的左右移动，不让竖着的柱子掉下来。利用强化学习的方法，不断自我学习，通过在玩游戏的过程中获取到奖励或者惩罚，学习到一个模型。在王者荣耀中的超强人机使用的AI技术也类似这样。
百度飞桨paddlepaddle深度学习7日打卡 总结及学后感
weixin_41447444的博客
04-28 991
百度飞桨paddlepaddle深度学习7日打卡 总结及学后感Day1-Python基础练习Day2Day3Day4Day5  这几日很少去看学校的课程，终于完成了百度飞桨paddlepaddle深度学习7日打卡，也算是有所收获。  AI学习之路，道阻且长。永远相信：路漫漫其修远兮，吾将上下而求所。 Day1-Python基础练习 作业1：1、输出 9*9 乘法口诀表(注意格式)；2、查找特定名称...
百度飞桨 PaddlePaddle 深度学习打卡7日营 -DAY6 开源社区与模型部署
Jason_____Wang的博客
02-08 416
######################### 开源社区讲解 雨哥讲解 什么是开源社区？ 就是指以开源的概念来运作的内容，如开源项目、开源产品等，特点是公开透明。 是一种互利共赢的合作形式 开源社区的好处？ 协作 接受所有人的修改 采用和重组 人们可以利用开源项目创建其他东西 透明度 任何人都可以对于开源项目进行监督和检查，可以进行纠错，促进更好发展 开源软件指南-如何从零玩转开源？ 开源社区玩法 建立项目-代码托管- 自己lead一个项目 构思；创建项目；组建团队；发展社区等 参与他人的项
（飞桨）强化学习7日打卡营——强化学习（RL）初印象
weixin_41773555的博客
06-18 323
Part1 什么是强化学习 强化学习（英语：Reinforcement learning，简称RL）是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。 核心思想：智能体agent在环境environment中学习，根据环境的状态state（或观测到的observation），执行动作action，并根据环境的反馈 reward（奖励）来指导更好的动作。 Part2 强化学习能做什么 游戏（马里奥、Atari、Alpha Go、星际争霸等） 机器人控制（机械臂、机器人、自动驾驶、四
【个人心得】飞桨强化学习7日打卡营学习心得
Kevin Pang的博客
06-26 528
1 课程回顾 第一次接触强化学习能遇到飞桨的科科老师挺幸运的，在此再次感谢她和她的团队为了这门课程所付出的努力，她能用十分清晰简洁的逻辑将复杂的强化学习算法讲的浅显易懂，让我再次理解到了数学抽象的魅力，也为我备考（考研）路上攻克数学增加了不少动力~ 课程链接是：https://aistudio.baidu.com/aistudio/education/group/info/1335 感兴趣的小伙伴可以前往查看哦，有十分详细的录播~ 以下是我5课节的笔记分享： Lesson1: https://blog.cs
强化学习笔记 之 SAC算法样例（基于百度飞桨PARL）
UnseenMe的博客
07-24 3002
Abstract 从Sarsa、Q-learning开始，到DQN，再到Policy Gradient，最后到DDPG，一步步走进了强化学习的世界。在学习了这些基础算法之后，本文记录一下进阶算法SAC的学习心得。 SAC是Soft Actor-Critic的缩写，由伯克利人工智能研究实验室(BAIR)的Tuomas Haarnoja等人，提出于2018年。 传送门：Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic
飞桨paddlepaddle强化学习打卡营
jedibobo的博客
06-27 500
总体评价：课程的定位很精确，因为时间受限，不可能从理论推导开始教学。面向应用的方式，会积累一定学习的兴趣，也便于后续的学习。课程知识的分布也比较合理，分别是：面对离散动作的Q-learning和Sarsa；因为不可数的动作和状态组合与神经网络结合（拟合的方式），面向连续动作的DQN，采取随机策略的policy-gradient以及采取确定性策略的DDPG。这些只能算是RL最入门基础的算法（只包括应用），之后对原理的学习需要补齐。 个人感受：首先用PARL实现RL算法的框架性很强（针对每一类算法而言），对于初
强化学习7日打卡营----学习心得
cgq081616的专栏
06-21 406
非常感谢百度带我进入强化学习的世界里，让我了解强化学习的理论以及实践，通过科科老师讲解以及实验作业，从一个小白慢慢的变成强化学习入门初学者。 课程入口：https://aistudio.baidu.com/aistudio/education/group/info/1335 课程从入门到高级，一步步带你了解强化学习世界，从Sarsa 到Q-learning，到深度学习DQN以及连续动作DDPG。 强化学习（英语：Reinforcement learning，简称RL）是机器学习中的一个领域，强调如何基
百度强化学习7日打卡营-心得体会
fabiola140的博客
06-27 243
上周有幸参加了百度举办的强化学习7日打卡营的课程，系统学习了强化学习基本概念和在百度Parl工具中实现强化学习的流程。下面讲一下我的一些心得体会。 1. 在上这门课之前，我有系统的看过deepmind的David Silver的强化学习视频课程，以及李宏毅老师的强化学习的视频。对于强化学习的基础知识很熟悉，但是缺乏实操经验。而这次百度举办的课程，恰恰很重视代码实践。我原来有很多混淆和不清楚的概念，在实际看代码之后都有了更清晰的体会，感觉非常有帮助。 2. 反过来讲，如果一位同学对强化学习感兴趣，但是从来
【PaddlePaddle】 强化学习(CartPole-v1)
qq_41427568的博客
02-18 6275
目录介绍介绍Deep Q-LreaningQ-LearningDQN记忆库和Fixed Q-target代码思路模型的搭建运行结果 介绍 这篇文章主要介绍如何使用PaddlePaddle Fluid实现强化学习，通过机器自我学习，完成一个经典的游戏CartPole-v1,这个游戏通过控制滑块左右移动，不让竖着的柱子掉下来，相关介绍请移步官网：CartPole。用强化学习通过在玩游戏的过程中受到的奖...
百度强化学习7日打卡营心得
TheLittleBee的博客
06-26 478
最近参加了百度强化学习7日打卡营，从只是听说过Q-learning、AlphaGo的完全小白，到可以自己实现几个经典强化学习算法，并且使用百度PARL框架实现强化学习解决Pong游戏和四旋翼悬停。这次的7日打卡营让我快速入门强化学习，了解到几个经典强化学习算法并且动手实现，还是颇有收获的。在此也给百度PARL框架（Github）打个广告，PARL框架已经实现并封装好几个经典强化学习算法，如Q-learning、DQN、Policy Gradient、DDPG、PPO等，让开发者们可以专注于网络Model和A
百度飞桨强化学习7日心得
qq_43117155的博客
06-27 275
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成这次学习的平台[https://aistudio.baidu.com/aistudio](https://aistudio.baidu.com/aistudio) 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进
【百度飞桨强化学习7日打卡营】学习笔记 -- 第一课：强化学习（RL）初印象
qq_39779233的博客
06-24 371
写在前面 本次课程是参加百度飞桨7日打卡营活动的第一天笔记。 课程导入 人工智能可以像人一样模仿、像人一样自学。 强化学习的推荐学习路线： 课程需要提前学习的知识与资料推荐： 第一课：强化学习（RL）初印象 主要介绍RL概述、入门路线、环境搭建 一、什么是强化学习 走迷宫的例子显示了强化学习的特点： 与环境的交互特点：agent的策略是一连串的序列决策，会不断与环境进行交互； 奖励的延迟特点：不会运行每一步都会告诉你输出的动作对不对，只有把所有的步骤都执行结束之后，才知道是否成功。 二、强化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值