人工智能教程 - 专业选修课程4.3.5 - 强化学习 1.强化学习简介,三要素,历史记录

强化学习简介

Reinforcement learning

强化学习是多学科交叉的学科

• 机器学习
• 最优化控制
• 奖励系统
• 条件作用以及条件反射实验
• 离散数学
• 博弈论效用理论和有限理论

强化学习和其他机器学习范式有什么区别？

What makes reinforcement learning different from other machine learning paradigms?

1.强化学习是无监督的，仅仅是奖励信号！only a reward signal 它并不知道什么是正确或者错误的决策，只是依照在做出行动后反馈的奖惩后得到的结果。

2.反馈是有延迟的，不是实时的马上得到结果

Feedback is delayed, not instantaneous

3.时间是关键（数据是序列化的，所以研究的是一个时间序列的动态连续性决策过程）

Time really matters (sequential, non i.i.d data)

4.智能体的行为会影响后续的数据，行为会反过来影响环境。也就是说输入会随着行动改变，这是一种主动学习的过程

Agent’s actions affect the subsequent data it receives.

奖励 Rewards

• A reward $R_t$ is a scalar feedback signal
• Indicates how well agent is do