[强化学习-1] 强化学习概述

1.两种类型的机器学习

1. 预测：a. 监督学习 p(x) -> p(y|x)

               b. 无监督学习 p(x,y)

2. 决策：强化学习 S, A, P, R ->

1. 监督学习 (Supervised Learning)：

它从过去的数据中学习，并将学习的结果应用到当前的数据中，以预测未来的事件。

在这种情况下，输入和期望的输出数据都有助于预测未来事件。为了准确预测，将输入数据标记为正确答案。

监督学习分为：

1.分类模型：分类模型用于可以对输出变量进行分类，例如“是”或“否”、“通过”或“失败”。分类模型用于预测数据的类别。例如：文本分类，垃圾邮件检测，情绪分析等。例如：

分类模型进行的人脸表情识别

2. 回归模型：回归模型用于输出变量为实际值的问题，例如根据数据集预测楼宇能耗，输出的便是单一的数字。或预测价格等。它最常用于根据先前的观测数据来预测数值。例如：

线性回归(Linear Regression)模型进行的能耗预测（回归模型）

2.无监督学习 (Unsupervised Learning)

没有数据集中的数据、特征之间的关系，根据聚类或一定的模型得到数据之间的关系。没有标签 (label) 例如：

无监督学习分为：

聚类：聚类是将观察值聚成一个一个的组，每一个组都含有一个或者几个特征，‎聚类的目的在于‎‎把相似的东西聚在一起，并不关心这一类是什么‎‎。 因此，一个聚类算法通常只需要知道‎‎如何计算相似度‎‎就可以开始工作了。经常用做异常值的检测。

关联：关联是反映一个事物与其他事物之间的相互依存性和关联性，是数据挖掘的一个重要技术，用于从大量数据中挖掘出有价值的数据项之间的相关关系。

3. 监督学习 VS 无监督学习

监督学习：

1. 目标明确

2. 需要带标签的训练数据

3. 效果容易评估

无监督学习：

1. 目标不明确

2. 不需要带标签训练数据

3. 效果很难评估

2. 强化学习 (Reinforcement Learning)

1.基本状态：

图一：强化学习示意图

1. 强化学习(Reinforcement Learning)

讨论的是一个智能体(Agent) 如何在一个复杂不确定的环境(Environment)里面去最大化它能获得的奖励(Reward)的问题。总言而止就是从交互中学习以实现目标。在强化学习过程中，agent 跟 environment 交互。

感知	O
状态	state
动作	action
转移状态	P
奖励	Reward

2.交互过程：

agent 在环境里面获取到state，agent 会利用这个state输出一个动作(action)。agent通过执行这个action，环境会相应地输出 agent下一个"state_",以及当前的这个action所获得的奖励。agent 的目的就是为了尽可能多地通过与Environment交互的过程中获取较大的Reward。

agent: ( 感知t | Rt -> At )

Environment: ( At | 感知t+1, Rt+1) ,t + = 1

3. 强化学习系统的要素：

历史 Ht = O1, R1, A1, O2, ..., Rt —— t为止所有可观测变量；决定了接下来发生什么；

状态 St = f(Ht) ——是关于历史的函数

策略 , 从状态到动作的映射——确定性策略 a= (s); 随即策略 (a|s) = P(At = a|St = s)

             决定了agent在t时刻的行为方式。

奖励 R，是一个标量

价值函数 —— 其中为折扣因子。

环境模型 —— 模拟环境行为——预测下一个状态：

                                                    预测下一个奖励：

4. 强化智能体分类：

分类1：是否需要建立环境模型

1.有环境模型：基于模型的强化学习（迷宫游戏，围棋）

2. 没有环境模型：模型无关的强化学习

分类2：按照策略区分

1. 基于价值的强化学习：

关注如何估计价值函数 V(s),Q(s,a)

基于V(s)和Q(s,a)可以得到策略

2. 基于策略的强化学习：

直接得到策略

基于也能求出V和Q

3. Actor-Critic:

Actor: 执行策略

Critic：估计价值

5. Eg：迷宫游戏：

状态——位置

行动—— N，E，S，W

状态转移——向某个方向移动，改变位置

奖励——每步-1

V—— 每个状态s下的状态价值

3. 监督学习 VS 强化学习

强化学习中学习器并没有被告诉你每一步正确的行为应该是什么。学习器需要自己去发现哪些行为可以得到最多的奖励，只能通过不停地尝试来发现最有利的动作。

监督学习获取的这些监督数据，其实是让人来标注的。人类的这个标注结果决定了它永远不可能超越人类

对于强化学习，它在环境里面自己探索，有非常大的潜力，它可以获得超越人的能力的这个表现，比如谷歌 DeepMind 的 AlphaGo。

监督学习假设模型的决策不会影响环境，而强化学习假设模型的决策会改变环境。