《Reinforcement Learning: An Introduction》 读书笔记 - 目录

最新推荐文章于 2025-09-11 16:17:19 发布
原创 最新推荐文章于 2025-09-11 16:17:19 发布 · 置顶 · 5.1k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#强化学习 #reinforce learning #读书笔记

本系列笔记基于Richard S. Sutton的《Reinforcement Learning: An Introduction》第二版，涵盖多臂老虎机、有限马尔科夫决策过程等内容。针对不同章节进行详细解析，包括动态规划、蒙特卡洛方法与时序差分学习等核心概念。

这一系列笔记是基于Richard S. Sutton的《Reinforcement Learning: An Introduction》第二版
因为这本书在出版之前，作者就在官网上发布了几次草稿版，不同时间发布的版本之间的排版有所差异（尤其是2017年和2018年的之间）
本系列基于2018年的几个版本，所以如果文中部分内容所指明的地方和读者看到的不一致，敬请谅解~

第2章：多臂老虎机（Multi-armed Bandits）

第3章：有限马尔科夫决策过程（Finite Markov Decision Processes）

第4章：动态规划（Dynamic Programming）

第5章：蒙特卡洛方法（Monte Carlo Methods）

第6章：时序差分学习（TD-Learning）

Reinforcement Learning: An Introduction (David Silver)
AI天才研究院
08-31 1086
作者：禅与计算机程序设计艺术 1.简介 强化学习（Reinforcement Learning，RL）是机器学习领域的一个重要分支。它是通过试错的方式来学习控制问题，最典型的应用就是游戏编程、智能驾驶等。它的特点是学习从环境中自动获得奖赏，并不断调整自身行为以最大化长期奖赏。在人工智能领域，深度强化学习
Reinforcement Learning: An Introduction 阅读笔记（一）
limn204的专栏
05-22 704
前言 开新坑系列…… 先来谈谈什么是强化学习，或者说增强学习。强化学习就是指再一个特定环境下，通过与环境交互，获得环境的反馈从而进行学习的智能算法。什么是特定环境呢？举个flappy bird的例子（博主的执念），flappy bird游戏的核心目标，就是使得玩家操作的鸟，不装到柱子上。作为人类，我们也会再游戏进程中无意或者有意的去发现一些规律，取得更高的分数。强化学习要做的就是将这种能力注意到学习算法上，也就是训练一个智能体（Agent） 从深蓝击败国际象棋冠军，到Alpha Go，星际争霸和Dota2的
Reinforcement Learning：An Introduction
Crafts_Neo的博客
08-03 1027
Reinforcement Learning：An Introduction 文章目录Reinforcement Learning：An Introduction强化学习问题建模马尔科夫决策过程 强化学习问题建模 环境类 class Environment(): '''环境类。环境需要描述这个世界，响应与其进行交互的个体的行为，并向个体提供交互比较的信息 ''' de...
强化学习经典教材《Reinforcement Learning: An Introduction》第二版详解
最新发布
weixin_42513870的博客
09-11 998
马尔可夫过程（Markov Process, MP）是一种描述状态转移的随机过程，其核心特征是马尔可夫性质（Markov Property）：下一状态的出现仅依赖于当前状态，而与之前的历史状态无关。马尔可夫性质的形式化定义如下：设状态序列为 $ s_0, s_1, …, s_t $，则：这表示在时间 $ t $ 处于状态 $ s_t $ 的条件下，下一时刻的状态 $ s_{t+1} $ 的概率分布仅依赖于当前状态 $ s_t $。
Reinforcement Learning: An Introduction - Richard S. Sutton Part 1: Tabular Solution Methods
chitoseyono的博客
02-25 681
RL: An Introduction Part 1: Tabular Solution Methods
Reinforcement Learning：An Introduction PDF文档+源代码
12-11
Reinforcement Learning：An Introduction PDF文档附本书源代码
Reinforcement Learning: An Introduction 2018年 第二版和之前2015中文翻译版
05-14
强化学习导论2018年第二版，作者：Richard S. Sutton and Andrew G. Barto，是强化学习方面最权威的学者，以及2015年中文翻译版
Reinforcement Learning: An Introduction - Richard S. Sutton Part 0: Introduction
chitoseyono的博客
01-24 645
RL: An Introduction Part 0: Introduction
Reinforcement Learning - An Introduction强化学习读书笔记 Ch9.1-Ch9.4
qq_41608822的博客
08-06 342
9.1 价值函数逼近 目前使用的方法对于状态的更新知识简单地对目标状态进行更新而其他状态度保持不变，而本章会对目标状态的更新进行泛化，使其他状态的估计价值同样发生变化，原则上可以使用所有现存的函数逼近方法来进行价值函数预测，包括神经网络。决策树以及各种多元回归。 应用于强化学习的函数逼近方法需要能够进行在线学习，并且能够处理非平稳目标函数。 9.2 预测目标 在表格型情况中，不需要对连续函数进行衡量，学习到的价值函数可以和真实的价值函数精确相等，并且每个状态下学习的价值函数都是解耦不相关的。 但是在函数逼近
Reinforcement Learning: An Introduction，Richard S. Sutton and Andrew G. Barto
05-21
Reinforcement Learning: An Introduction，Second edition, in progress，Richard S. Sutton and Andrew G. Barto
Reinforcement Learning：An Introduction Chapter 1 Introduction
KunBB的博客
03-22 1594
Chapter 1: Introduction 人类与环境进行互动，学习环境如何响应我们的行为，并试图通过自身行为影响将来发生的事，这就是一种交互式的学习方式，是人类获取知识的主要来源，同时也是几乎所有学习和智能化理论的基本思想。强化学习正是一种从交互中学习的计算方法，它更侧重于从交互中进行目标导向的学习方式，而不是其他的机器学习方式。 1.1 Reinforcement Learning 强化...
Reinforcement Learning: An Introduction (2018年1月）
01-05
Reinforcement Learning: An Introduction ****Complete Draft**** January 1, 2018
Reinforcement Learning: An Introduction (2017年11月最新版)
11-07
Reinforcement Learning: An Introduction Second edition, in progress ****Complete Draft**** November 5, 2017
Reinforcement Learning: An Introduction
03-15
The authoritative textbook for reinforcement learning by Richard Sutton and Andrew Barto. Contents Preface Series Forward Summary of Notation I. The Problem 1. Introduction 1.1 Reinforcement Learning 1.2 Examples 1.3 Elements of Reinforcement Learning 1.4 An Extended Example: Tic-Tac-Toe 1.5 Summary 1.6 History of Reinforcement Learning 1.7 Bibliographical Remarks 2. Evaluative Feedback 2.1 An -Armed Bandit Problem 2.2 Action-Value Methods 2.3 Softmax Action Selection 2.4 Evaluation Versus Instruction 2.5 Incremental Implementation 2.6 Tracking a Nonstationary Problem 2.7 Optimistic Initial Values 2.8 Reinforcement Comparison 2.9 Pursuit Methods 2.10 Associative Search 2.11 Conclusions 2.12 Bibliographical and Historical Remarks 3. The Reinforcement Learning Problem 3.1 The Agent-Environment Interface 3.2 Goals and Rewards 3.3 Returns 3.4 Unified Notation for Episodic and Continuing Tasks 3.5 The Markov Property 3.6 Markov Decision Processes 3.7 Value Functions 3.8 Optimal Value Functions 3.9 Optimality and Approximation 3.10 Summary 3.11 Bibliographical and Historical Remarks II. Elementary Solution Methods 4. Dynamic Programming 4.1 Policy Evaluation 4.2 Policy Improvement 4.3 Policy Iteration 4.4 Value Iteration 4.5 Asynchronous Dynamic Programming 4.6 Generalized Policy Iteration 4.7 Efficiency of Dynamic Programming 4.8 Summary 4.9 Bibliographical and Historical Remarks 5. Monte Carlo Methods 5.1 Monte Carlo Policy Evaluation 5.2 Monte Carlo Estimation of Action Values 5.3 Monte Carlo Control 5.4 On-Policy Monte Carlo Control 5.5 Evaluating One Policy While Following Another 5.6 Off-Policy Monte Carlo Control 5.7 Incremental Implementation 5.8 Summary 5.9 Bibliographical and Historical Remarks 6. Temporal-Difference Learning 6.1 TD Prediction 6.2 Advantages of TD Prediction Methods 6.3 Optimality of TD(0) 6.4 Sarsa: On-Policy TD Control 6.5 Q-Learning: Off-Policy TD Control 6.6 Actor-Critic Methods 6.7 R-Learning for Undiscounted Continuing Tasks 6.8 Games, Afterstates, and Other Special Cases 6.9 Summary 6.10 Bibliographical and Historical Remarks III. A Unified View 7. Eligibility Traces 7.1 -Step TD Prediction 7.2 The Forward View of TD( ) 7.3 The Backward View of TD( ) 7.4 Equivalence of Forward and Backward Views 7.5 Sarsa( ) 7.6 Q( ) 7.7 Eligibility Traces for Actor-Critic Methods 7.8 Replacing Traces 7.9 Implementation Issues 7.10 Variable 7.11 Conclusions 7.12 Bibliographical and Historical Remarks 8. Generalization and Function Approximation 8.1 Value Prediction with Function Approximation 8.2 Gradient-Descent Methods 8.3 Linear Methods 8.3.1 Coarse Coding 8.3.2 Tile Coding 8.3.3 Radial Basis Functions 8.3.4 Kanerva Coding 8.4 Control with Function Approximation 8.5 Off-Policy Bootstrapping 8.6 Should We Bootstrap? 8.7 Summary 8.8 Bibliographical and Historical Remarks 9. Planning and Learning 9.1 Models and Planning 9.2 Integrating Planning, Acting, and Learning 9.3 When the Model Is Wrong 9.4 Prioritized Sweeping 9.5 Full vs. Sample Backups 9.6 Trajectory Sampling 9.7 Heuristic Search 9.8 Summary 9.9 Bibliographical and Historical Remarks 10. Dimensions of Reinforcement Learning 10.1 The Unified View 10.2 Other Frontier Dimensions 11. Case Studies 11.1 TD-Gammon 11.2 Samuel's Checkers Player 11.3 The Acrobot 11.4 Elevator Dispatching 11.5 Dynamic Channel Allocation 11.6 Job-Shop Scheduling Bibliography Index
增强学习导论（Reinforcement Learning An Introduction_Sutton）
09-05
本书作者是Richard S. Sutton，是增强学习领域的开山之作，虽然这本书不算太新，单它奠定了RL的基本理论框架，所以将它作为入门级的著作是十分有用的。
Reinforcement Learning An Introduction~Reinforcement Learning
coolsunxu的博客
11-15 613
第一章   介绍   当我们考虑学习的本质时，我们首先想到的可能是通过与环境互动学习。当一个婴儿玩耍，挥动手臂或环顾四周时，它没有明确的老师，但它确实与其环境有直接的感觉运动联系。通过这种联系可以产生大量关于因果关系的信息，关于动作的后果，以及为实现目标应该做些什么。在我们的生活中，这种互动无疑是关于我们的环境和我们自己的主要知识来源。无论我们是学习驾驶汽车还是进行对话，我们都敏锐地意识到...
Reinforcement Learning an introduction (1)
weixin_47560863的博客
03-02 582
基础知识 马可夫性质 数学解释: P(st+1,rt+1∣st,at)=P(st+1,rt+1∣s0,a0,s1,a1,...,st,at) P(s_{t+1},r_{t+1}|s_t,a_t) = P(s_{t+1},r_{t+1}|s_0,a_0,s_1,a_1,...,s_t,a_t) P(st+1​,rt+1​∣st​,at​)=P(st+1​,rt+1​∣s0​,a0​,s1​,a1​,...,st​,at​) 理解: 下个状态只取决于当前状态与动作，与历史无关 当环境不满足马可夫性质
Reinforcement Learning：An Introduction 读书笔记- Chapter 1
PeytonPu的博客
11-05 2086
Reinforcement Learning: An Introduction第一章
Sutton和Barto强化学习教程：Jupyter笔记本详解
他们的著作《Reinforcement Learning: An Introduction》是该领域的一本经典教材，广受学术界和工业界的推崇。 3. Jupyter Notebook介绍: Jupyter Notebook是一个开源的Web应用程序，允许用户创建和共享包含实时...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值