【强化学习-05】AlphaGo

已于 2022-02-07 14:50:32 修改
阅读量288 收藏
点赞数
分类专栏： RL+OR 机器学习+强化学习-笔记 文章标签： 强化学习 强化学习基本概念 深度学习 机器学习
于 2022-01-27 21:53:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HsinglukLiu/article/details/122721460
版权

Policy-based reinforcement learning

本笔记整理自 (作者: Shusen Wang):
https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Policy Networks

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Behavior Cloning

在这里插入图片描述
在这里插入图片描述

  • Behavior cloning: 是一种模仿学习，模仿学习和强化学习的主要区别在于：有没有奖励
    没有奖励就是模仿学习，有奖励是强化学习

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

behavior cloning其实就是多分类，有361个类，其中label就是人类的下法。

在这里插入图片描述

如果策略网络没有见过 a t a_t at​，策略网络就无法识别，就会失效。因此下一步 a t + 1 a_{t+1} at+1​就会更奇怪。

Train policy network using Policy gradient

在这里插入图片描述

  • player: 根据reward来更新policy network
    强化学习用奖励来更新网络
    模仿学习没有奖励

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Train the value network

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Mente Carlo Tree Search

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

刘兴禄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python-通过AlphaGoZero方法反转强化学习
08-12
通过AlphaGo Zero方法反转强化学习
【Reinforcement Learning】AlphaGo 如何使用的强化学习？
lt_BeiMo的博客
08-31 1608
以 AlphaGo模型来讲解在实际应用中如何使用强化学习。此处笔记根据B站课程，王树森老师的强化学习记录而来。
深度强化学习——AlphaGo实例讲解(5)
Tandy12356_的博客
04-23 1815
本文通过分析AlphaGo实例，看看深度强化学习是怎么样用来玩围棋游戏的
一文读懂AlphaGo背后的强化学习
CSDN人工智能
11-22 1万+
本文是强化学习名作——“Reinforcement Learning: an Introduction”一书中最为重要的内容，旨在介绍学习强化学习最基础的概念及其原理，让读者能够尽快的实现最新模型。毕竟，对任何机器学习实践者来说，RL（强化学习，即Reinforcement Learning）都是一种十分有用的工具，特别是在AlphaGo的盛名之下。
强化学习（五）—— AlphaGo与Alpha Zero
Cyrus_May的博客
03-31 2803
强化学习（五）—— AlphaGo与Alpha Zero1. AlphaGo1.1 论文链接1.2 输入编码（State）1.3 训练及评估流程1.4 模仿学习（Behavior Cloning）1.5 策略网络依据策略梯度进行学习1.6 价值网络训练1.7 Monte Carlo Tree Search1.7.1 Selection2.1 网络结构2. AlphaGo Zero2.1 论文链接 1. AlphaGo 1.1 论文链接 查看原文 1.2 输入编码（State） 棋盘大小：[19,19]
【强化学习】模仿学习：行为克隆
m0_63642362的博客
12-21 5149
模仿学习：行为克隆 初体验
揭秘深度强化学习-彭伟
05-06
深度强化学习是深度学习算法和强化学习算法的巧妙结合, 它是一种新兴的通用人工智能算法技术, 也是机器学习的前沿技术, DRL算法潜力无限, AlphaGo是目前该算法最成功的使用案例。DRL算法以马尔科夫决策过程为基础, ...
【强化学习课件】AlphaGo创始人之一David Silver授课PPT课件
04-06
AlphaGo创始人之一David Silver强化学习授课PPT课件
国科大强化学习18-19春季
09-09
2016年AlphaGo战胜人类顶级围棋选手，标志人工智能的一个重要里程碑事件，其中强化学习方法做出了重要的贡献。麻省理工、斯坦福、卡内基梅隆等著名学府纷纷开设或着重强化学习的课程。 强化学习是人工智能中最活跃的...
【深度】专业解读“深度强化学习“：从AlphaGo到AlphaGoZero
wangguogai的博客
11-08 6314
近日，DeepMind在Nature上公布了最新版AlphaGo论文，介绍了迄今为止最强的围棋AI:AlphaGoZero。AlphaGoZero不需要人类专家知识，只使用纯粹的深度强化学习技术和蒙特卡罗树搜索，经过3天自我对弈以100：0击败上一版本AlphaGo。AlphaGoZero证明了深度强化学习的强大能力，这一成果也势必将推动该领域的进一步发展。  深度强化学习和
学习笔记|强化学习（Reinforcement Learning, RL）——让AlphaGo进化得比人类更强
oXiLang的博客
03-09 4964
2017年5月，人类第一高手柯洁和“AlphaGo Zero”开启了一段旷世对决。在这段对决中，无论柯洁如何努力，始终脱离不了在“AlphaGo Zero”面前全面落败的结局，期间抑制不住情绪失声痛苦。那么，AlphaGo Zero背后的技术是什么？是如何让它进化得比人类更强的？其实就是"强化学习（Reinforcement Learning, RL）" 。
【强化学习】AlphaGo Zero详解
zkq_1986的博客
10-30 4884
1 简介 AlphaGo Zero（以下简称Zero）的过程如下图a、b所示，在每个状态s，通过MCTS搜索，获得每个可能move的概率p，其中MCTS搜索采用self-play并执行fθ策略。fθ主要采用微软的ResNet，即基于残差的学习。利用MCTS获得每个可能move的概率p之后，更新fθ权重。最后利用这个fθ评估最后能赢这盘棋的概率v。 2 MCTS 每个节点s（状态），包含若
AlphaGo Zero强化学习简易教程（译）
hhy_csdn的博客
02-03 7841
  本教程介绍了一个同步的单线程单GPU的game-agnostic的AlphaZero复现工作。这是一部很漂亮的作品，它训练了一个仅通过自己和自己下棋的方式来学习的智能体，除了游戏规则之外，智能体没有利用任何的人类知识。与DeepMind之前的论文相比，该方法相当简单，而且AlphaGo Zero最终令人信服地击败了AlphaGo。AlphaGo使用专家游戏的数据进行训练，并击败了最好的人类围棋...
强化学习基础 | (19) AlphaGo Zero强化学习原理
sdu_hao的博客
09-10 823
原文地址 在基于模拟的搜索与蒙特卡罗树搜索(MCTS)中，我们讨论了MCTS的原理和在棋类中的基本应用。这里我们在前一节MCTS的基础上，讨论下DeepMind的AlphaGo Zero强化学习原理。 本篇主要参考了AlphaGo Zero的论文, AlphaGo Zero综述和AlphaGo Zero Cheat Sheet。 1. AlphaGo Zero模型基础 AlphaGo Zero不需要学习人类的棋谱，通过自我对弈完成棋力提高。主要使用了两个模型，第一个就是我们上一节介绍MCTS树结构，另一个是
深度增强学习（DRL）漫谈 - 从DQN到AlphaGo
世事难料，保持低调
10-10 2万+
深度增强学习（Deep reinforcement learning, DRL）是DeepMind（后被谷歌收购）近几近来重点研究且发扬光大的机器学习算法框架。两篇Nature上的奠基性论文（DQN和AlphaGo）使得DRL这一深度学习（Deep learning, DL）和增强学习（Reinforcement learning, RL）的交叉方向变得炙手可热。再加上多个影响较大的benc...
强化学习笔记：AlphaGo(AlphaZero) ，蒙特卡洛树搜索（MCTS）
qq_40206371的博客
06-05 4196
围棋的棋盘是 19 × 19 的网格，可以在两条线交叉的地方放置棋子，一共有 361 个可以放置棋子的位置，因此动作空间是 A = {1, · · , 361}。比如动作 a = 123 的意思是在第 123 号位置上放棋子。 于是我们便有了类似的策略网络和价值网络 和人类下棋类似，AlphaGo在做决策前，需要在“大脑里”做预判，确保几步以后很可能会占优势。如果只根据当前格局做判断，不往前看，是很难获胜的。以上只是 MCTS 的基本想法，实际做起来有很多难点需要解决。 ！！Alp
深度强化学习（二）强化学习算法的分类
热门推荐
daydayjump的博客
06-17 3万+
对于强化学习的分类，主要参考了莫烦大佬的视频和OpenAI的Spinning Up的介绍。 一、Model-Free和Model-Based两大类 上图是Spinning Up中的分类图。对于model的理解就是强化学习中的环境。根据是否去学习环境来进行分类。根据转移概率是否已知进行分类的。 Model-free就是不去学习和理解环境，环境给出什么信息就是什么信息，常见的方法有polic...
从强化学习的角度看alphago与MCTS
小柴不会敲代码
05-26 863
AlphaGo简单原理
AlphaGo对深度学习的发展贡献
最新发布
04-18
其次，AlphaGo采用了强化学习算法，通过与自我对弈和与人类棋手对弈来不断优化自身的策略。这种基于奖励信号的学习方式使得AlphaGo能够从错误中学习，并逐渐提高自己的水平。这为深度强化学习的研究提供了重要的范例...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值