【强化学习的数学理论：导论】

B站听课笔记：
对强化学习原理的基本了解，后续将深入学习。

强化学习书籍的介绍

Existing books about RL：

三个方面的书籍可以参考：
一、Computer science perspective:
计算机科学方面的书籍，可读性好，数学理论内容少。

1、Reinforcement Learning: An introduction.【R.S. Sutton and A.G. Barto， MIT Press, 1998/2018】强化学习邻域的圣经

2、Algorithms for Reinforcement Learning. 【C. Szepesvari Morgan and Claypool Publishers, 2010】

二、Control-theoretic perspective
控制理论方面的书籍，数学推导较多，专业性较强，需要一定的专业背景。

1、Neuro-Dynamic Programming 【D.P. Bertsekas and J. Tsitsiklis Athena Scientific, 1996】

2、Reinforcement Learning and Optimal Control 【D.P. Bertsekas Athena Scientific, 2019】

3、Control Systems and Reinforcement Learning 【S. Meyn Cambridge University Press, 2022】

三、Deep RL

全书的知识脉络

Brief history of RL

强化学习的历史

• Breakline between classic RL and deep RL：
  Deep Q-Learning

时间线依次为：

• Dynamic programming
• Temporal-difference learning
• Q-Learning

**More details of the history of RL: **
Reinforcement learning: An introduction 【R.S. Sutton and A.G. Barto， MIT Press, 2018】

Classification of RL

机器学习的分类

Supervised learning和Unsupervised learning主要做的是分析、回归；
Reinforcement learning主要做的是决策

强化学习是多学科交叉的，最开始的范式建立是受到了生物的启发。

强化学习和控制系统的范式框架图区别

RL	Control System
agent	controller
environment	system dynamics
new state new reward	new state feedback
interpretation	measurement
action decision	control command