强化学习笔记

---

一、什么是强化学习

智能体在环境的一个状态下做出一个动作决策，使得环境发生改变并返回相应的奖励。

智能体有三种关键要素：感知、决策和奖励。
感知：智能体通过传感器等感知环境。
决策：智能体根据当前状态选择采取的动作。
奖励：环境给予的反馈。最大化累积奖励是智能体提升策略的目标，也是衡量策略好坏的目标。

二、机器学习分为监督学习、无监督学习、半监督学习，强化学习。

监督学习：教机器做事。分类任务：训练数据有特征和标签。通过训练，机器可以面对只有特征的数据判断标签。回归任务：训练数据有特征和对应的连续输出。
无监督学习：机器“自学”。数据只有特征而没有标签，本质是一种统计手段。
半监督学习：既有有标签数据，也有无标签数据。

强化学习和有监督学习的学习目标其实是一致的，即在某个数据分布下优化一个分数值的期望。不过，经过后面的分析我们会发现，强化学习和有监督学习的优化途径是不同的。

三、有监督学习和强化学习的区别

有监督学习有固定的训练数据集，通过优化数据集设定的目标函数（如最小化预测误差）找到最优参数。

强化学习的训练数据由智能体和环境交互得到，而非预定。即可能发生的状态动作对有多种，智能体的交互可理解成“采样”。而学习的目的在于最大化累积奖励的期望。

---