DRL学习

已于 2022-10-09 10:29:54 修改
阅读量197 收藏
点赞数 1
文章标签： 学习
于 2022-10-01 12:23:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blood_thirsty/article/details/127133196
版权

完全新手推荐先看看白话强化学习 - 知乎。（我也是看的这个）

我的数学基础一般般，处于大概能看懂别人的文章，但是要反复看，看很多不同讲解的地步。

一起努力！

1.MC

2.PG

3.PPO

PG算法与PPO算法_哔哩哔哩_bilibili

可以看看视频

来点基础知识：

信息熵、相对信息熵

通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现机会多，不确定性小；反之不确定性就大。

1.不确定性函数f是概率P的减函数；2.两个独立符号所产生的不确定性应等于各自不确定性之和，即f(P1+P2)=f(P1)+f(P2)，这称为可加性。同时满足这两个条件的函数f是对数函数。F(X)=log_2(\frac{1}{X})=-log_2(X)

简单点说就是找一个基本符合上面两条要求的简单函数。那么就有人要问了底数一定要是2吗？ 那当然不是的，下文中提到，神经网络中通常使用e为底数。

信息熵与相对熵(KL散度) - 知乎

相对熵，又称为KL散度或者信息散度，是两个概率分布间差异的非对称度量。信息论中，相对熵等价于两个概率分布的信息熵的差值，若其中一个概率分布为真实分布，另一个为拟合分布，则此时相对熵等于交叉熵与真实分布的信息熵之差，表示使用理论分布拟合真实分布时产生的信息损失，公式如下：

D_{KL}(p||q)=\sum_{i=1}^N[p(x_{i})log p(x_i)-p(x_i)log q(x_i)]

重要性采样

重要性采样（Importance Sampling） - 知乎

        我们用随机采样的散点去匹配原本具有一定弧度的曲线，除非你真的取了无数个点，有限的点所求得的期望是一定有巨大偏差的（想象一下以前学习积分时候的那张图，曲线下面是无数个小矩形）。那么这个时候就需要我们给他赋予一定的权重。

        但是我们本来就是因为不知道这条曲线长啥样所以才求期望，那么我们边去想象一条理论上接近于这条曲线的拟合曲线，以拟合曲线的概率与原曲线的f(x)相乘求期望。

E[f]=\int _xp(x)f(x)dx\approx \frac{1}{N}\sum _{i=1}^Nf(x_i) \approx \frac{1}{N}\sum _{i=1}^N \pi(x)f(x) =\int _xp(x)\frac{\pi(x)}{p(x)}f(x)dx

p(x) 为原概率密度函数 π(x)为拟合概率密度函数 f(x)为求得的值。那么我们就可以看作是函数\frac{\pi(x)}{p(x)}f(x)在分布p(x)上的期望。 很有趣！

4.AC

5.AC,A2C,A3C

强化学习（十三 ）--AC、A2C、A3C算法 - 知乎

 

6.Q-Learning

7.DQN

8.DDPG

9.D2PG

还在不断更新中

blood_thirsty
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
DRL:深度强化学习
03-31
深度强化学习概述。 强化学习[] [] []。 基于价值的学习[] []。 基于策略的学习[] []。 演员批评方法[] []。 AlphaGo [] []。 TD学习。 Sarsa [] []。 Q学习[] []。 多步TD目标[] []。 基于价值的学习的高级主题。 ...
基于深度强化学习技术（DRL），提出了结合D3QN算法和多步学习的无人机3D路径优化算法。为进一步优化算法，
05-11
强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一。它主要用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定...
DRL学习笔记
m0_51451910的博客
10-26 559
DRL深度强化学习
DRL学习资源
Multi-Agent_DRL
01-26 157
文章目录李宏毅笔记DDPG 李宏毅笔记 drl课程完整笔记 DDPG DDPG理论推导
DRL学习第一课: 结构梳理和理清概念
Ian的博客
07-20 774
近期在忙一个比较重要的项目, 做到机器人快速避障,正在努力学习和更新中. 深度强化学习(Deep Reinforcement Learning) 强化学习是机器学习的一个分支, 相较于机器学习经典的有监督学习, 无监督学习问题, 强化学习的最大的特点是在交互中学习(Learning from Interaction). Agent在与环境的交互中根据获得奖励或惩罚不断的学习知识, 更加适应环境. RL学习的范式非常类似于我们人类学习知识的过程, 也正因此, RL被视为实现通用AI重要途径. 强化学.
DRL学习第二课: 方法学习和探索
Ian的博客
08-04 366
探索与利用 序列决策的一个基本问题： 探索Exploration：尝试更多的决策，不一定是最优收益，可能发现更好的策略 利用Exploitation：执行能够获得已知最优收益的策略 “策略探索的原则” 1. 朴素方法 2. 积极初始化 3. 基于不确定的度量 4. 概率匹配 “案例： 多臂老虎机” "详细阐述和分析" 1. 朴素方法Naive Exploration 添加噪声策略 2. 积极初始化Optimistic Initialization a. 给价值函数一个较高的初始化值 b.
深度强化学习(DRL)基础
RuizhiHe
11-28 7922
深度强化学习（Deep Reinforcement Learning）是值得深入学习研究且非常有意思的领域，但是其数学原理复杂，远胜于深度学习，且脉络复杂，概念繁杂。强化学习是一个序贯决策过程，它通过智能体（Agent）与环境进行交互收集信息，并试图找到一系列决策规则（即策略）使得系统获得最大的累积奖励，即获得最大价值。环境（Environment）是与智能体交互的对象，可以抽象地理解为交互过程中的规则或机理，在围棋游戏中，游戏规则就是环境。强化学习的数学基础和建模工具是马尔可夫决策过程（Markov De
深度强化学习（Deep Reinforcement Learning, DRL）的学习路线参考
lhyyds的博客
04-27 781
了解这些算法的原理和训练过程，并掌握重要的技巧，如经验回放(memory replay)、目标网络(target network)等。深度强化学习（Deep Reinforcement Learning, DRL）是一个结合了深度学习和强化学习的研究领域，它在许多复杂和高维度的任务中展现出了强大的能力，比如游戏、机器人控制等。探索与利用的平衡：了解强化学习中的探索与利用的平衡问题，包括ε-greedy策略、Softmax策略、UCB算法等。了解它们的定义和优化目标，并了解如何选择适合任务的损失函数。
深度强化学习（Deep Reinforcement Learning, DRL）
weixin_43156294的博客
06-13 1008
深度强化学习（Deep Reinforcement Learning, DRL）是一种结合了深度学习（Deep Learning, DL）和强化学习（Reinforcement Learning, RL）的机器学习方法。它通过使用深度神经网络来近似强化学习中的策略或价值函数，从而解决复杂的决策问题。
Reinforcement Learning，微信公众号：DRL学习
weixin_30644369的博客
12-20 259
欢迎大家关注微信公众号：DRL学习，我们一起来学习强化学习和深度强化学习的算法及现状应用问题。 强化学习简单说就是学习如何最大化未来奖励的预期总和，以及agent学会在环境中做出的行动序列，其中随机状态对代理人来说是未知的，并且取决于其行动。具体的强化学习分类如谢图所示，强化学习属于交叉学科，对于很多的计算及计算机学科都有帮助及涉及。 今天，就带大家来聊聊强化学习那些事以及小编这一年多走过...
学习DRL
caoyongsheng的博客
03-04 299
一般给人推荐就是David Sliver课程+ dennybritz的代码+Sutton的书+ShangtongZhang的代码，这个虽然不是直接上手DRL，但是感觉学过去基础会比较牢固
基于深度强化学习技术（DRL），提出了结合D3QN算法和多步学习的无人机3D路径优化算法。
05-08
深度强化学习（Deep Reinforcement Learning, DRL）是人工智能领域的一个重要分支，它结合了深度学习的特征表示能力和强化学习的决策制定策略。在给定的标题和描述中，我们聚焦于一个具体的应用：利用DRL优化无人机...
基于gym的pytorch深度强化学习(DRL)(PPO,DQN,SAC,DDPG,TD3等算法).zip
05-08
深度强化学习（Deep Reinforcement Learning, DRL）是人工智能领域的一个重要分支，它结合了深度学习的表征能力与强化学习的决策制定过程。在基于PyTorch的DRL实现中，我们通常会利用框架的强大功能来构建和训练各种...
code_Logistic_DRL_
09-30
在IT领域，Logistic算法和深度强化学习（DRL）是两种重要的机器学习技术，广泛应用于数据分类和决策制定。本文将深入探讨这两种方法及其在实际应用中的价值。 首先，让我们来了解一下标题中的"code_Logistic_DRL_...
昇思MindSpore学习笔记2-01 LLM原理和实践 --基于 MindSpore 实现 BERT 对话情绪识别
muren的专栏
07-02 1017
通过识别BERT对话情绪状态的实例，展现在昇思MindSpore AI框架中大语言模型的原理和实际使用方法、步骤。
短链接学习day2
最新发布
weixin_63374588的博客
07-05 755
需要注意的是，转换过程中，BeanUtil.toBean()方法通过反射机制创建了目标类型的实例，并将数据源对象的属性值复制到目标对象中。但是为了防止redis的主节点挂掉后，从节点变成主节点时，有些数据还没复制，就会导致脏数据，就会可能导致用户名重复，所以为了防止这个情况，我们需要将username设置为唯一索引，让数据库兜底。因为用户名不是特别重要的数据，如果说我设置用户名为 aaa，系统返回我不可用，那我大可以在 aaa 的基础上再加一个a，也就是 aaaa。一定要记得写枚举的时候是用逗号分割。
【PB案例学习笔记】-27制作一个控制任务栏显示与隐藏的小程序
再小的帆也能远航，把分享变成一种习惯
07-03 350
这是PB案例学习笔记系列文章的第27篇，该系列文章适合具有一定PB基础的读者。通过一个个由浅入深的编程实战案例学习，提高编程技巧，以保证小伙伴们能应付公司的各种开发需求。
黑马点评学习过程汇总——Cookie \ Session \ Token的区别
weixin_45791946的博客
07-02 363
在后续的请求中，前端发往后端的请求中都携带token，后端拿到token后进行jwt的解密并验证signature，如果检验成功信息没有被篡改，就会放行。，自动存储session信息到cookie中。Token不依赖于session和cookie，对集群和前后端分离架构友好。前端发起登录请求到后端，后端对前端携带来的信息进行认证，认证成功后会生成。我们往session中存储用户信息，服务器端保存session并通过。头部，Payload负载，Signature签名 ）并以。（4）Session的弊端。
drl深度强化学习的作用
03-29
DRL（Deep Reinforcement Learning，深度强化学习）是一种基于深度学习和强化学习的技术，其作用主要包括以下几个方面： 1. 解决复杂任务：DRL可以通过自主学习的方式，解决一些复杂的任务，如游戏、机器人控制、自动驾驶等。 2. 自适应性强：DRL可以根据不同的环境和任务，自适应地调整模型的参数，以达到最优的效果。 3. 高效性：DRL可以通过离线学习和在线学习相结合的方式，提高学习效率和速度。 4. 泛化性强：DRL可以通过学习抽象的特征和模式，实现对不同场景的泛化，从而在新场景下表现优秀。 总之，DRL的作用是为了解决复杂任务，提高自适应性、高效性和泛化性，从而实现更加智能化的决策和控制。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值