（RL强化学习）强化学习基础知识

最新推荐文章于 2023-09-03 08:28:41 发布
最新推荐文章于 2023-09-03 08:28:41 发布
阅读量3.8k 收藏 1
点赞数
分类专栏： 强化学习 文章标签： 深度学习 计算机视觉 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KNIGHT_HOY/article/details/123858629
版权

文章目录

Basic Components

  • 以Video Game为例

    • Actor：遥杆

    • Env：游戏界面

    • Reward Function：杀一个怪得20分

在这里插入图片描述

Actor

  • 一个神经网络

  • 输入游戏画面 输出action
    在这里插入图片描述

Critic

  • 给定一个actor的一个observation

  • Critic给出从现在到结束的reward的概率

  • Critic衡量Actor的好坏 但不决定action

  • example：打怪游戏：当当前的observation里面还很多怪 那给出的reward 概率就会高

    当当前的observation剩一点点怪 那么reward就低 因为到游戏结束也不会获得很高的分数
    在这里插入图片描述

    网络训练

    • MC

      • 给定一个state 得到这个state开始到游戏结束的reward G
      • 然后将这个state输入到Vπ 得到的值跟G越接近越好
        在这里插入图片描述

    • TD

      • 给定相邻的两个state分别送进去网络
      • 得到的差值越接近这个state后actor的得到的reward越好
        在这里插入图片描述

    Q-learning

    • Q function

      • 给定state 和 action

      • 给出这个state采取这个action的reward

      • 只适用于离散的action

在这里插入图片描述

  • 迭代过程

    • 给定一个actor π

    • 给出 state action 算出Q-value

    • 通过TD/MC更新Q function

    • 得到一个更好的actor π1

    • π1替换π
      在这里插入图片描述

Actor + Critic

  • 仅仅actor会根据当前observation得到一个reward 但这样子做随机性会很大
  • 故提出AC Critic指导Actor的行动

A2C Advantage Actor-Critic

在这里插入图片描述

A3C Asynchtonous Advantage Actor-Critic

  • 有一个global actor 和 critic
  • 建立一些分身进行跟环境互动 平行运算
  • 反馈参数到global

在这里插入图片描述

Back propagation

  • 为了maximize R(涛) 需要反向传播到Reward，Env ，Actor
  • 但是Reward,Env并不是网络
  • 所以需要用Policy Gradient去实现反向传播
    在这里插入图片描述

Inverse RL

  • 很多时候并不知道reward function
  • 需要一个跟环境互动过的专家Expert反推 reward function
  • 使用reward function 找到最好的Actor

在这里插入图片描述

  • 具体流程
    在这里插入图片描述
    在这里插入图片描述

Policy Gradient

Policy

  • 输入一个代表observation的矩阵或者向量

  • 输出端每一个action对应输出层的一个神经元
    在这里插入图片描述

Example

  • Actor 得到 S1 放入 Policy
  • 得到概率最高的action a1
  • 采取action后获得这个action的reward r1

在这里插入图片描述

  • 一直循环直到游戏结束 整个过程称为一个episode 所有reward的总和称为total reward

  • Actor的目的就是让total reward最大化
    在这里插入图片描述

  • （s1,a1,s2,a2…）的集合称为trajectory

  • 可以计算这个trajectory的概率
    在这里插入图片描述

  • Expected Reward

    • sample 一个 trajectory 乘上这个trajectory的total reward

    • sample所有的trajectory 并以total reward为权值加权起来就是 Expected Reward
      在这里插入图片描述

    Gradient

  • 目标是maximinze Expected Reward

  • gradient计算公式
    在这里插入图片描述

  • 具体流程
    在这里插入图片描述

Hoyyyaard
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习RL（Reinforcement Learning）
Jiashilin
05-19 1555
思想： 强化学习灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能够获得最大利益的习惯性行为。 AI = RL + DL （from David Silver） 强化学习没有任何的标签来告诉算法应该怎么做，它会先去尝试做一些动作，然后得到一个结果，通过判断这个结果是对还是错来对之前的动作进行反馈（对了会获得奖赏，得分，通过...
【人工智能专栏】基于人类反馈对语言模型进行强化学习 (RLHF)
最新发布
热情、奔放、快乐编程！
08-05 78
字面上说，RLHF就是基于人类反馈（Human Feedback）对语言模型进行强化学习（Reinforcement Learning），和一般的fine-tune过程乃至prompt tuning自然也不同。
强化学习（RL）
满腹的小不甘
11-12 464
强化学习-Reinforcement learning 参考： 1. 强化学习：基本概念 + 应用场景 + 主流算法 什么是强化学习？ 强化学习并不是某一种特定的算法，而是一类算法的统称。如果用来做对比的话，他跟监督学习，无监督学习 是类似的，是一种统称的学习方式。 强化学习算法的思路非常简单，以游戏为例，如果在游戏中采取某种策略可以取得较高的得分，那么就进一步「强化」这种策略，以期继续取得较好的结果。这种策略与日常生...
RL强化学习入门
yanhx1204的专栏
11-23 229
https://blog.csdn.net/qq_32690999/article/details/78594220
强化学习RL
星梦的博客
12-10 314
强化学习（Reinforcement Learning RL）也有很多其他名字，例如再励学习、增强学习、评价学习，是机器学习的范式和方法论之一，用于描述和解决智能体在与环境的交互过程中，通过学习策略以达成回报最大化或实现特定目标的问题。 强化学习过程主要由4部分构成：智能体（agent）、观测到的状态（observation/state）、奖励（reward）和行为（action） 深度强化学习是强化学习与深度学习结合的结果。顾名思义，就是将传统强化学习中的某一部分用深度学习来完成。 传统强化学习中的行为以
强化学习(RL)
机器学习知识点整理
05-10 3658
强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。——wiki强化学习在许多学科都有应用，除了AI外，还包括自动化的控制理论，数学中的运筹学和认知科学。在机器学习中，通常可以分为有监督学习（分类，回归），无监督学习（聚类，降维）和强化学...
深度强化学习入门详细资料
05-28
其次，"DRL-入门深度强化学习.pdf"是一份170页的PPT，它可能侧重于DRL的基础知识和实践应用。这份PPT可能包括DRL的历史背景、主要框架、经典环境（如Atari游戏和OpenAI Gym）的介绍，以及一些实战案例分析。通过这份...
强化学习经典论文集强化学习经典论文集
11-21
这个“强化学习经典论文集”显然包含了该领域的一些里程碑式的研究成果，对于深入理解强化学习的理论基础、算法实现以及应用前景具有极高的价值。下面，我们将深入探讨其中可能涵盖的关键知识点。 1. 强化学习基本...
强化学习（RL）算法
m0_63943951的博客
10-28 1414
强化学习： Reinforcement learning。它是机器学习的一个领域，不同于机器学习的是，强化学习更强调与环境交互，然后通过计算最大收益获得对应的最优的动作进行行动。强化学习还有一个特点，它是一个序列预测问题，也就是他是为了找出最优的一系列动作。而且因为每一个state需要在前一个action做出后才能得到，所以时间在强化学习中有很重要的意义。
通用人工智能之路：什么是强化学习？如何结合深度学习？
FRIGIDWINTER的博客
07-03 6692
【专栏订阅必读】ChatGPT强大魔力的关键因素之一是应用了强化学习模型，本文系统梳理强化学习中环境、智能体、奖赏、动作、状态等关键概念，并给出深度强化学习框架。
RL— 深度强化学习简介
gongdiwudu的专栏
07-31 5117
深度强化学习是关于从我们看到和听到的东西中采取最好的行动。不幸的是，强化学习强化学习在学习概念和术语方面存在很高的障碍。在本文中，我们将介绍深度强化学习，并概述一般情况。然而，我们不会回避方程式和术语。它们提供了更深入地理解概念的基础知识。我们不会呼吁您只需要 20 行代码即可解决 RL 问题。官方答案应该是一个！但我们将努力使它平易近人。
trading-rrl:使用循环强化学习的自动外汇交易
05-04
使用循环强化学习的自动外汇交易 下载要求 virtualenv venv source venv/bin/activate pip install -r requirements.txt tf_rrl.py包含用于使用深度神经网络，LSTM或简单RNN运行递归强化学习算法的代码。 您还可以选择自己选择的优化器（SGD或Adam），设置超参数（例如交易成本，学习率，时期数等）。 tradingrrl.py包含用于运行分层系统的代码，即使用具有风险管理和动态优化层的，通过梯度下降训练的简单RNN的RRL算法。 utils包含多个文件，主要用于清理和下载数据集。
一文读懂强化学习：RL全面解析与Pytorch实战
热门推荐
TechLead的专栏
09-03 1万+
在本篇文章中，我们全面而深入地探讨了强化学习（Reinforcement Learning）的基础概念、主流算法和实战步骤。从马尔可夫决策过程（MDP）到高级算法如PPO，文章旨在为读者提供一套全面的理论框架和实用工具。同时，我们还专门探讨了强化学习在多个领域，如游戏、金融、医疗和自动驾驶等的具体应用场景。每个部分都提供了详细的Python和PyTorch代码示例，以助于更好地理解和应用这些概念。
强化学习（RL)——Reinforcement learning
雨落i的博客
09-24 8770
强化学习（Reinforcement Learning, RL）**是机器学习中的一个领域**，又称再励学习、评价学习或增强学习。强化学习也是一类机器学习算法, 而强化学习是介于监督学习和非监督学习的另外一种学习方式。 强化学习+深度学习就等同于人工智能！
强化学习（Reinforcement Learning, RL）
kfyong的专栏
03-27 681
强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习。描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。 强化学习的常见模型是标准的马尔科夫链，马尔科夫决策过程（Markov Decision Process, MDP），他是在假设下一个状态由上一个确定的状态来决定（条件概率），每一步都是上一步状态...
对RL（reinforcement learning）--强化学习的认识
weixin_45187794的博客
08-26 434
概念 RL（Reinforcement Learning）–强化学习是指agent(智能体)，通过使未来的道德奖励最大化，来学习在不确定的环境中所要进行的动作。 特点 强化学习不同于其他机器学范式的区别在于以下几点： 1、There is no supervisor,only a reward signal(在ＲＬ中没有监督者，只有一个奖励信号) 2、Feedback is delayed,not instantaneous（反馈被延迟了，智能体并不会立即得到反馈,过一段时间才会知道当时的选择所带来的结果是
RL强化学习总结（一）——强化学习基本概念
Elon15的博客
08-03 617
强化学习基本概念
强化学习（RL）基本概念
机器学习
06-09 4596
强化学习 一文了解强化学习
David Silver 强化学习RL笔记
kurumi233的博客
03-22 1479
        以前虽然很早就接触了强化学习，也做过一些项目，但是总觉得基础不扎实，所以决定把David Silver在伦敦大学的强化学习基础课程好好学一遍，然后再学一遍斯坦福大学的CS294深度强化学习课程。CS294先放着，先把David Silver的课程搞定。David 是阿尔法狗的第一作者，名副其实的大佬，他的课还是很有价值的，我学习了之后确实很多地方有了更深的理解。        课程...
easy rl强化学习教程
07-18
Easy RL的教程内容涵盖了强化学习的各个方面，包括基础概念、数学原理和常见算法等。学习者可以按照自己的进度和兴趣选择学习内容。教程还提供了一些进阶主题，如深度强化学习和分布式强化学习，满足不同学习者的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值