THE DIFFERENTIABLE CROSS-ENTROPY METHOD

最新推荐文章于 2022-04-16 00:37:47 发布
最新推荐文章于 2022-04-16 00:37:47 发布
阅读量229 收藏
点赞数
分类专栏： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44125720/article/details/102948000
版权

这篇文章主要是对CEM（Cross-Entropy Method）做了改进，用目标函数的参数使cem的结果可微。应用于非凸连续控制问题。 

简介

DCEM通过把动作序列embed成低维空间从而减少计算量和memory。主要是通过模型部分将可微策略参数化。使用PPO对基于模型的项目组件进行微调，证明在基于模型的强化学习上，除了用最大似然来拟合observation，用标准策略学习也是可行的。

优势

1）在高维和非凸优化问题上，以往的算法是将动作序列进行自编码，这个是用DCEM直接编码动作序列，这样做的优点是：不需要专家解法、有可能在动作空间上超越专家控制器、可以发掘搜索潜能。
2）在结合model-based和model-free方面，基本用的是可微MPC并且只在cartpole和pendulm上做实验，而这个可以在cheetah和walker这样更难的问题，在控制器里用了神经网络，将策略损失通过控制组件反向传播到内部组件里。

 详细介绍

  目标函数为                                 \hat{x} = \underset{x}{argmin} f_{\theta }\left ( x \right )

这里先简单介绍一下CEM：首先需要有一个分布g_{\phi }，在t次的迭代时，从g_{\phi }中采样得到N个样本[X_{t,i}]_{i=1}^{N} \sim g_{\phi _{t}}\left ( \cdot \right )，然后用评价函数得到每个样本的值v_{t,i} =f_{\theta }\left (X_{t,i}\right )，然后根据价值最高的k个样本拟合新的分布g_{\phi }，就这样迭代T次。

DCEM伪代码：

和CEM的区别在于topk个值的选取

lls233
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
进化策略优化算法CEM(Cross Entropy Method)
一番の宝物
06-08 2万+
1. 进化策略与遗传算法 进化策略算法(Evolutionary Strategies,ES)是一种基于进化理论的算法，通过适者生存的自然法则来淘汰和筛选样本，目的是获得更好的样本（参数），与遗传算法一样，它也是通过参数扰动来探索更好的解，但是进化策略可以看做是遗传算法的一种扩展：在遗传算法中，我们用一串0/1数组表示遗传DNA，用父代们的DNA重组和变异得到不同的子代DNA，然后通过适应性函数...
DRL（七）—— Cross Entropy Method
qq_41796745的博客
05-14 425
这一讲是关于 model based 的情况的。首先熟悉几个概念吧。 open-loop & close-loop **close-loop: ** 智能体在与环境交流的时候，每观察到一个observation（也就是每一个state）都会进行一次动作的选取。 **open-loop: ** 智能体在和环境交流的时候，观察到一个observation（st），会选择一连串的动作[a1, a2, ... ..., aT][a_1,~a_2,~...~...,~
强化学习经典算法笔记(二十)：交叉熵方法Cross Entropy Method
hhy_csdn的博客
08-14 3807
强化学习经典算法笔记(二十)：交叉熵方法Cross Entropy Method 本次补上一个经典RL算法笔记。 感谢 https://the0demiurge.blogspot.com/2017/08/cross-entropy-method-cem.html 感谢 https://en.wikipedia.org/wiki/Cross-entropy_method CEM基本概念： 交叉熵方法是一种蒙特卡洛方法，主要用来优化和重要性采样。和进化算法类似，进化算法在空间中按照某种规则撒点，获得每个点的误
强化学习交叉熵方法-Cross-Entropy Method
qq_36178962的博客
03-29 3069
Cross Entropy Method(CE method)是一种进化策略算法，它虽然也是基于交叉熵，但并不是我们熟知的监督学习中的交叉熵方法。这个算法的核心是一个参数优化的过程。CE method已经成功应用于不同范围的估计和优化问题，包括缓冲区分配、信号检测、DNA排序、交通控制以及神经网络和强化学习等领域。
Cross-Entropy Method (CEM, 交叉熵方法) 与强化学习
mmc2015的专栏
08-17 1万+
转自：https://the0demiurge.blogspot.com/2017/08/cross-entropy-method-cem.html   前言 之前阅读Deep Reinforcement Learning: Pong from Pixels的时候，作者在文中最后提到“One should always try a BB gun before reaching for the...
1806.10779 (1)DIFFERENTIABLE LEARNING-TO-NORMALIZE VIA.zip
10-02
标题 "1806.10779 (1)DIFFERENTIABLE LEARNING-TO-NORMALIZE VIA.zip" 暗示了一个研究论文，该论文可能关注的是深度学习领域中的可微分规范化方法。在深度神经网络（DNNs）中，规范化技术对于优化过程和模型性能至关...
differentiable-robot-model:我们正在实现机器人操纵器的可区分模型，这使我们能够学习通常被认为是已知的用于控制和运动计划的机器人模型。然后，这些模型可以用于更复杂的强化学习设置中，从而有望使学习更加有效。此外，这种可区分的模型也可以用于学习模拟器
03-21
pip install differentiable-robot-model 或克隆此仓库并从源代码安装： git clone git@github.com:facebookresearch/differentiable-robot-model.git cd differentiable-robot-model python setup.py develop ...
differentiable-idris:依赖类型满足深度学习
03-21
关于idris的可区分编程，为什么？ （在制品！） 由于pytorch具有极大的灵活性，我将绑定到pytorch cpp而不是tensorflow 通过深度学习来学习和研究依赖类型 详尽的反思，也许是最先进的宏系统，将使我们伟大的静态...
differentiable-particle-filters:论文“可区分的粒子过滤器”的源代码和数据-Source code learning
03-25
可微分的粒子过滤器 接触 Rico Jonschkowski（ ） 介绍 ... title = {{Differentiable Particle Filters: End-to-End Learning with Algorithmic Priors}}, booktitle = {{Proceedings of Robotics:
Continuous Deep Q-Learning with Model-based Acceleration
weixin_44125720的博客
11-18 803
摘要 首先介绍了无模型的强化学习方法发展：已经解决了一系列具有挑战性的问题，并且最近开始解决大型神经网络策略和价值函数。然而，无模型算法由于采样复杂性，特别是用高维函数估计时，被限制在了物理系统中。在这篇文章中，我们探索并提出了一种算法来降低深度强化学习中连续控制任务的样本复杂度。我们提出了两个互补的技术来提高算法效率。首先，改进了q-learning使它用在连续问题上，算法叫NAF，来替换平...
CEM仅仅是对CRM的重新包装吗？
02-09 218
　　CRM就像网络公司的IPO一样，变得越来越时髦。对于供应商和咨询公司来说，为了使CRM能真正为企业带来利润，他们都必须不断努力;而对于已经进行了初始投资的公司来说，他们别无选择，只能希望CRM能有所收益。这些都引起人们对...
交叉熵方法（Cross-Entropy Method）
执妄
04-16 1701
重要性采样定理 重要性采样可以改变原来的旧分布，用新的分布去采集样本，然后求出目标期望，上述证明显示两者理论上是等价的，但是等价他有个前提条件：就是2个分布不能相差太大。换句话说，如果2个分布相差过大，那么两者就不会相等，这就是IS的缺陷。 IS确实可以让2个分布产生一个期望，但是期望相等并不代表方差相等。如上图红框所示，如果2者相差过大，就会导致双方的方差Varience过大。而当采样数据不足够时，方差相差太大会导致两者的样本均值相差很大！ 重要性采样的用处在于对于原分布下不太好求解的情况下，把问题转
Pytorch - Cross Entropy Loss
长风破浪会有时，直挂云帆济沧海
05-04 6万+
Pytorch - Cross Entropy Loss Pytorch 提供的交叉熵相关的函数有: torch.nn.CrossEntropyLoss torch.nn.KLDivLoss torch.nn.BCELoss torch.nn.BCEWithLogitsLoss torch.nn.MultiLabelSoftMarginLoss ​ 1. CrossEntropyLos...
Cross entropy
Work Hard, Play Harder!
06-24 2398
In information theory, the cross entropy between two probability distributions {\displaystyle p} and {\displaystyle q} over the same underlying set of events measures the average number of bits 
简单谈谈Cross Entropy Loss
热门推荐
时光杂货店
06-23 18万+
写在前面 分类问题和回归问题是监督学习的两大种类。 神经网络模型的效果及优化的目标是通过损失函数来定义的。 回归问题解决的是对具体数值的预测。比如房价预测、销量预测等都是回归问题。这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数。解决回顾问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。对于回归问题，常用的损失函数是均方误差( MSE，mean squared ...
分类模型的 Loss 为什么使用 cross entropy 而不是 classification error 或 squared error
susandebug
07-19 2905
提纲： 分类模型 与 Loss 函数的定义， 为什么不能用 Classification Error， Cross Entropy 的效果对比， 为什么不用 Mean Squared Error， 定量理解 Cross Entropy， 总结， 参考资料。 交叉熵定义：http://blog.csdn.net/lanchunhui/article/detai
深度学习（一） cross-entropy和sofrmax
静默丶
09-19 1万+
Cross-entropy 神经网络的学习行为和人脑差的很多, 开始学习很慢, 后来逐渐增快 为什么? 学习慢 => 偏导数 ∂C/∂w 和 ∂C/∂b 值小 回顾之前学习的Cost函数: 回顾sigmoid函数: 当神经元的输出接近1或0时，曲线很平缓，因而会使偏导数 ∂C/∂w 和 ∂C/∂b 值小,致使学习很慢 如何增快学习？ 为此神经网络引入交叉熵代价函数cro
CEM算法基于CartPole的实现
jackmcgradylee的博客
03-06 613
import gym import numpy as np import matplotlib.pyplot as plt env = gym.make('CartPole-v0') env = env.unwrapped # env.render() # vector of means(mu) and standard dev(sigma) for each paramater mu = np.random.uniform(size=env.observation_space.shape) sigm.
composition of bijective sub-differentiable
最新发布
04-28
Bijective sub-differentiable组合是指以一种特定的方式组合函数，使其成为一个双射和次微分函数。在这种组合中，两个函数都需要满足相应的条件，以使得最终的组合函数是可逆的且次微分性质保持不变。 具体来说，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值