强化学习

前言

机器学习可以大致分为四类：

• 监督学习
• 无监督学习
• 半监督学习
• 强化学习

监督学习是利用标记了的样本进行学习，无监督学习则是使用未标记的样本进行学习，这两个是我们最常见的。半监督学习则是样本中只有少量带标记的样本，多数样本都未标记，利用这些样本进行学习。强化学习则是很不同的一种学习方式，它没有规则的训练样本和标签，主要通过奖励和惩罚达到学习的目的。

什么是强化学习

《最强大脑》曾经有个挑战项目叫蜂巢迷宫，挑战者不断尝试不断试错。强化学习做法也类似，它主要包含三个概念：状态、动作和回报。同样是以迷宫为例，智能体所在的位置即是状态，从某个位置向某方向走一步则为动作，比如可以向左向右或向上向下，每走一步会产生回报，比如撞到墙就是负回报，好的动作则会带来正回报。而且不仅要关注当前的回报，还要关注长期的回报，通过不断试错学习到一个长期回报的动作序列。

强化学习是机器学习的主要学习方法之一，智能体从环境到行为的学习，也就是如何在环境中采取一些列行为，才能使得奖励信号函数的值最大，即获得的累积回报最大。

强化学习不同于监督学习，监督学习通过正确结果来指导学习，而强化学习通过环境提供的信号对产生的动作的好坏做一种评价，它必须要靠自身经历进行学习。学习后智能体知道在什么状态下该采取什么行为，学习从环境状态到动作的映射，该映射称为策略。

如下图，一个智能体agent通过与环境environment相互交互并以一定的策略改变环境，agent可以从环境中得到状态