机器学习之强化学习的一点知识总结Reinforcement Learning

强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的reward。

强化学习和标准的监督学习之间的区别在于，它并不需要出现正确的输入/输出对，也不需要精确校正次优化的行为。强化学习更加专注于在线规划，需要在探索（在未知的领域）和遵从（现有知识）之间找到平衡。

强化学习的一些关键的特点：

1.学习者没有明确被告知下一步要做什么事情。

2.有点类似Trial-and-error search。

3.行为的奖励信号会影响后面较长的时间。

4.RL中的两个非常重要的概念：探索（exploration）和开发（exploitation），exploration是指选择之前未执行过的actions，从而探索更多的可能性；exploitation是指选择已执行过的actions，从而对已知的actions的模型进行完善。

5.Reinforcement Learning不需要监督者，只有一个reward信号，根据每次的reward来选择action,所以许多强化学习算法在这种情况下使用动态规划的技巧，反馈是延迟的，不是立即生成的，时间在RL中具有重要的意义；agent的行为会影响之后一系列的data。

基本的强化学习模型包括：

1. 环境状态的集合{\displaystyle S};
2. 动作的集合{\displaystyle A};
3. 在状态之间转换的规则；
4. 规定转换后“即时奖励”的规则；
5. 描述主体能够观察到什么的规则。

强化学习的主体与环境基于离散的时间步长相作用。在每一个时间，主体接收到一个观测，通常其中包含奖励。然后，它从允许的集合中选择一个动作a，然后送出到环境中去。环境则变化到一个新的状态s(t+1)，然后决定了和这个变化相关联的奖励。