强化学习经典教材的配套源代码上线了

清华大学李升波教授撰写的强化学习经典教材《Reinforcement Learning for Sequential Decision and Optimal Control》，曾于2023年4月首次由Springer出版社出版，近期该书的全套源代码亦由Springer上线，正式与读者见面了！

书籍及源代码下载网站：Reinforcement Learning for Sequential Decision and Optimal Control | SpringerLink

图书简介：

该书主要面向工业控制领域的研究者和工程师撰写，按照原理剖析、主流算法、典型示例的架构，系统地介绍了用于动态系统决策与控制的强化学习方法。全书共分为11章，内容涵盖了强化学习的基本概念、蒙特卡洛法、时序差分法、动态规划法、函数近似法、策略梯度法、近似动态规划、状态约束的处理和深度强化学习等知识点。下面简要介绍各章的主要内容：

第1章介绍强化学习（Reinforcement Learning, RL）概况，包括发展历史、知名学者、典型应用以及主要挑战等。

第2章介绍RL的基础知识，包括定义概念、自洽条件、最优性原理与问题架构等。

第3章介绍无模型RL的蒙特卡洛法，包括Monte Carlo估计、On-policy/Off-policy、重要性采样等。

第4章介绍无模型RL的时序差分法，包括它衍生的Sarsa、Q-learning、Expected Sarsa等算法。

第5章介绍带模型RL的动态规划法，包括策略迭代、值迭代、通用迭代架构与收敛性证明等。

第6章介绍间接型RL的函数近似法，包括常用近似函数、值函数近似、策略函数近似以及所衍生的Actor-Critic架构等。

第7章介绍直接型RL的策略梯度法，包括On-policy gradient、Off-policy gradient、它们的代价函数与优化算法等。

第8章介绍带模型的近似动态规划（ADP）方法，包括无穷时域的ADP、有限时域的ADP、ADP与MPC的联系与区别等。

第9章探讨了状态约束的处理手段，它与求解可行性、策略安全性之间的关系，以及Actor-Critic-Scenery三要素求解架构等。

第10章介绍深度强化学习（DRL），即以神经网络为载体的RL，包括神经网络的原理与训练，深度化挑战以及DQN、DDPG、TD3、TRPO、PPO、SAC、DSAC等典型深度化算法。

第11章介绍RL的各类拾遗，包括鲁棒性、POMDP、多智能体、元学习、逆强化学习、离线强化学习以及训练框架与平台等。

课程配套资源介绍：

配套课程PPT——百度、知乎搜索“强化学习与控制”。

微信公众号——微信搜索“智能驾驶课题组”

课程配套代码——为了便于工程人员与广大读者的学习，配套的源代码已经上传至书籍的Springer网站：https://link.springer.com/book/10.1007/978-981-19-7784-8，读者可自行下载辅助学习，下面简要说明代码的下载方式、安装要求以及相关例子。

（1）获取代码库：

点击上述网址的白色选项“Access Source Code”跳转至Github。进入Github后，点击绿色选项code，选择Download ZIP下载压缩文件；或使用Git将存储库克隆到本机。

（2）安装步骤

1. 克隆代码库：

在本机终端或命令行界面中，执行命令以克隆代码库到本地：git clone https://github.com/Apress/Reinforcement-Learning-for-Sequential-Decision-and-Optimal-Control

1. 环境配置：

安装Anaconda或Miniconda

在终端或命令行中输入命令配置环境：conda env create -n rlbook -f environment.yml

在终端或命令行中输入命令激活环境：conda activate rlbook

此后，打开每一个python文件运行main或plot的python脚本即可。

（3）源代码的介绍：

Chap_3_4_CleanRobot:第3章和第4章的清扫机器人示例代码。

Chap_5_AutoCar_GridRoad:第5章的自动驾驶汽车代码示例。

Chap_6_Actor_Critic_Algorithm:第6章的3类Actor-Critic（AC）算法代码。

Chap_7_AC_with_Baseline:第7章有/无baseline的AC算法性能对比。

Chap_8_Veh_Track_Ctrl:第8章的车辆跟踪控制示例代码。

Chap_9_Car_Brake_Control:第9章的紧急制动控制示例代码。

遵循以上步骤，您将成功设置和运行本代码库的示例代码，并开始探索强化学习的精彩世界！如果存在问题，欢迎大家加入GOPS用户交流群进行交流。

GOPS开源网站见: Welcome to GOPS’s documentation! — GOPS 1.1.0 documentation