MountainCar的关键——抵抗梯度消失

最新推荐文章于 2022-08-09 17:58:40 发布
最新推荐文章于 2022-08-09 17:58:40 发布
阅读量221 收藏 3
点赞数 1
分类专栏： ai 文章标签： python 强化学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32076841/article/details/120496811
版权

完整代码链接
写了个Q学习小车上山，感觉不行。把Q表画出来，找找原因。

	...
	# q learning update
	# 其中q是q表，o是离散化的观察（400-900个值），a是三个动作，r是奖励，d是done
	# 1-d的意思是，如果done了，就不用后来的q表更新上一步q值
	q[o][a]=q[o][a]+alpha*(r+(1-d)*gamma*max(q[o1])
最低0.47元/天 解锁文章
熊猫跳高
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
matlab开发-带值迭代的Suttonsmountaincarplem问题
08-24
matlab开发-带值迭代的Suttonsmountaincarplem问题。利用价值迭代实现萨顿山车问题。
伯禹学习平台《动手学》——梯度消失与梯度爆炸
01-06
梯度的消失与爆炸 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。 假设一个层数为的多层感知机的第k层的权重参数为W(k)，输出层m层...
CAR的问题
郁郁思扬
04-15 1131
设计一个名为car的结构,存储下列信息:生产商,年份数.向用户询问有多少辆车.随后,new创建一个相应数量的car结构的动态数组.然后,程序提示用户输入每辆车的生产商何年份.最后程序显示每个结构内容.运行情况如下:How much cars do you wish to catalog? 2car #1:Please enter the make: Hudson HornetPlease ente
学习率调整策略
u010901792的专栏
01-18 1354
Pytorch中的学习率调整 主要的学习率调整策略都是继承这个类： class _LRScheduler 主要属性： optimizer： 关联的优化器 last_epoch： 记录epoch数 base_lrs： 记录初始学习率 主要方法： step():更新下一个epoch的学习率 get_lr():虚函数，计算下一个epoch的学习率 pytorch学习率调整方法 StepLR() 等间隔调整学习率 #函数形式 torch.optim.lr_scheduler.StepLR（opti
[强化学习实战]DQN算法实战-小车上山(MountainCar-v0)
热门推荐
wangyifan123456zz的博客
10-24 1万+
案例分析 如图1所示，一个小车在一段范围内行驶。在任一时刻，在水平方向看，小车位置的范围是[-1.2,0.6]，速度的范围是[-0.07,0.07]。在每个时刻，智能体可以对小车施加3种动作中的一种：向左施力、不施力、向右施力。智能体施力和小车的水平位置会共同决定小车下一时刻的速度。当某时刻小车的水平位置大于0.5时，控制目标成功达成，回合结束。控制的目标是让小车以尽可能少的步骤达到目标。一般认为，如果智能体在连续100个回合中的平均步数≤110，就认为问题解决了。 在绝大多数情况下，智能体简单向右施力并
一、 强化学习及MountainCar-v0 Example
你好，时光的博客
05-31 2543
一、 强化学习及MountainCar-v0 Example 强化学习讨论的问题是一个智能体 (agent) 怎么在一个复杂不确定的环境 (environment) 里面去 极大化它能获得的奖励。下面是它的示意图： 示意图由两部分组成：agent 和 environment。在强化学习过程中，agent 跟 environment 一直在交互。Agent 在环境里面获取到状态，agent 会利用这个状态输出一个动作 (action)，一个决策。然后这个决策会放到环境之中去，环境会根据 agent 采取的决
强化学习项目-MountainCar(小车上山问题)
02-20
Mountain car with Probabilities：汽车位于一维轨道上，位于两个山之间。目标是驶向右侧的山峰；但汽车的发动机强度不足以单程通过山峰。因此，成功的唯一途径是先远离目标，向左行驶到反方向的斜坡，然后再踩油门...
梯度消失，梯度爆炸.md
02-13
梯度消失、梯度爆炸以及Kaggle房价预测 梯度消失和梯度爆炸 考虑到环境因素的其他问题 Kaggle房价预测
梯度消失与梯度爆炸
01-06
什么是梯度消失与梯度爆炸 层数比较多的神经网络模型在使用梯度下降法对误差进行反向传播时会出现梯度消失和梯度爆炸问题。梯度消失问题和梯度爆炸问题一般会随着网络层数的增加变得越来越明显。 例如，对于图所示...
梯度消失与爆炸
01-20
除了激活函数的选择，初始化权重的方式也是解决梯度消失和爆炸的关键。随机初始化确保了网络中各个神经元的独立性，避免所有神经元产生相同的行为。PyTorch等库通常会提供合理的默认初始化策略，如Xavier随机初始化...
mountain-car-SARSA-AC:使用具有线性函数逼近的SARSA解决山地车问题
05-02
具有SARSA函数逼近的山地车 该存储库包含两个项目： 使用具有线性函数逼近的SARSA解决山地车问题。 使用Actor Critic解决连续山地车问题。 山地车是最流行的强化学习测试环境之一。 特工必须学习利用滚下山坡而达到目标的势头。 它具有一个连续的状态空间，其中包含一组离散的动作（向左，向右和不执行任何操作）。 我使用了特征向量和权重集的线性组合来近似状态作用值函数Q。使用允许非线性值函数的RBF核近似，将状态样本转换为更高维的空间。 只需运行mountaincar.py并根据需要注释掉env.render（）即可切换可视化。 我还包括用于梯度检查和动作选择，值函数和奖励图的可选方法。 将它变成Q-Learning解决方案将花费很少的精力。 对于连续的环境，代理倾向于收敛到选择不移动的局部最优状态。 这是因为对代理而言，每次执行操作都会得到负奖励，而奖励0胜于奖励-99
Mountain_car-OpenAI-GYM:OpenAI体育馆山地车问题的解决方案
04-29
问题 汽车位于一维轨道上，位于两个“山”之间。 目标是驶向右边的山峰； 但是，汽车的引擎强度不足以单程通过。 因此，成功的唯一方法就是来回驱动以建立动力。 方法 在这个游戏中，没有给予任何中间奖励。 当购物车到达旗帜时，只会给予最终的奖励。 因此，为了使小车驶向旗帜，如果小车在左山上向后拉或在右山上向前移动，我们给予+15的奖励。 再者，购物车每走一步，都会受到-10的惩罚，这可以确保购物车在最少的时间步长内达到目标（标志），并且如果购物车的最终成绩以较少的步数到达该标志，则可获得+10000的巨额奖励。超过200个时间步，这是我们的最终目标。 游戏玩法 笔记 邀请进一步改进的请求 链接到其他OpenAI GYM环境
强化学习库gym之mountain-car源码解读
AndrewGSD的博客
11-21 2064
一、导入相关需要的包 import math import numpy as np import gym from gym import spaces from gym.utils import seeding 二、定义MountainCarEnv类，并且继承gym的env环境，在类中分别定义方法 1、初始参数方法 def __init__(self, goal_velocity = 0): self.min_position = -1.2 # 最小位置点 ..
强化学习:带MonteCarlo的Reinforce求解MountainCar问题
赛亚茂的博客
08-09 652
强化学习中利用策略梯度求解MountainCar问题，和官方差不多，标准化可以显著提高收敛速度。
Pytorch中的学习率衰减及其用法
开飞机的小毛驴儿
10-10 1万+
学习率衰减是一个非常有效的炼丹技巧之一，在神经网络的训练过程中，当accuracy出现震荡或loss不再下降时，进行适当的学习率衰减是一个行之有效的手段，很多时候能明显提高accuracy。 Pytorch中有两种学习率调整(衰减)方法： 使用库函数进行调整； 手动调整。 1. 使用库函数进行调整： Pytorch学习率调整策略通过 torch.optim.lr_sheduler 接口实现。pytorch提供的学习率调整策略分为三大类，分别是： （1）有序调整：等间隔调整(Step)，多间隔调整(M
Pytorch——学习率调整
斯人若彩虹，遇上方知有！
08-26 1581
目录 1、optim.lr_scheduler.StepLR 2、optim.lr_scheduler.MultiStepLR 3、optim.lr_scheduler.ExponentialLR 4、optim.lr_scheduler.CosineAnnealingLR 5、optim.lr_scheduler.ReduceLROnPlateau 6、torch.optim.lr_scheduler.LambdaLR 通常设置学习率为较小数：0.01、0.001、0.0001 1、op
人工智能--深度强化模型
看，好自为之的博客！！！
12-30 2379
理解深度强化模型的基本原理和掌握利用深度强化模型训练网络的方法
gym-MountainCar-v0离散状态的Q-Learning
野生蘑菇菌的博客
04-17 1816
周老师课程推荐的程序解析 这里写目录标题一、关键点二、代码块 一、关键点 一、关于eta 二、关于离散化 离散为40个状态（二维） 三、关于_ 表示某个变量是临时的或无关紧要的 四、关于列表解析 solution_policy_scores = [run_episode(env, solution_policy, False) for _ in range(100)] 二、代码块 ...
DQN强化学习 MountainCar Deep Q-Learning
weixin_43968987的博客
01-23 1295
虽则你我被每粒星唾弃，我们贫乏却去到金喜。 ———七百年后 这篇文章关于神经网络的Qlearning实现，Qlearning的一些方法概念写在第一篇文章 “强化学习：Q表格方法”里： 文章链接： https://blog.csdn.net/weixin_43968987/article/details/112959287 对于Qlearning的方法，适用于动作空间是离散的环境，比如说象棋中的棋子，只能以有限的运动状态运动。 我们可以看到，使用表格的方法解决较为复杂的环境，很容易使得表格变得很大，因为
rnn梯度消失与梯度爆炸
最新发布
06-11
RNN梯度消失与梯度爆炸是指在RNN网络中，由于梯度在反向传播过程中不断相乘或相加，可能会出现梯度消失或梯度爆炸的情况。梯度消失指的是在反向传播过程中，梯度逐渐变小，导致模型无法学习到远距离的依赖关系；梯度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值