强化学习的特征？

许多书上都回答过这个问题，基本答案都是——“试错”和“延迟回报”是强化学习两个最重要的特征。但是这里从更高的层次来看待这个问题，或许会给我们不同的启示~~

其中最重要的就是强化学习的“整体性”这一特征。

强化学习明确考虑了目标导向的智能体与不确定的环境交互的整个问题。与其他机器学习方法不同，比如监督学习只关注模型的构建，规划理论只强调了规划的实现，没有考虑实时决策的过程等等，这些机器学习方法都是关注的子问题，而非“整体性”。

强化学习则是从一个完整性、交互式、目标导向的智能体出发，当然这只是其整体框架。如果涉及规划时，仍需要加入规划模块，处理规划和实时动作选择之间的相互影响，另外如何获取和改善环境模型也是其中一个子问题；如果涉及环境特征的提取时，仍需要监督学习（深度学习）来实现。与这些子问题相结合仍是现在强化学习发展的一个重要方向，例如深度强化学习的发展就是如此。

但是，我们一定要清醒地认识到，这些子问题都需要在完整的、交互式的、目标驱动的智能体问题框架中定义，也就是说这些子问题是为这个整体框架服务的，这是最最重要的观点~~因此强化学习框架更具有普遍性，或者说对强化学习的研究就是在追求人工智能的普适原则。

也就是说，如果你是一个强化学习领域的研究者，更加关注的是应该是强化学习理论基础，而不仅仅是其中的某一个子问题，其实目前为止对深度学习+强化学习的研究中，大部分还是集中在深度学习部分，对于强化学习理论的真正创新少之又少，这时我们更应该回归本源，所以此时重新解读sutton这本经典著作尤为重要。

如何从理论角度而不是实用主义角度创新呢？我的建议是：1、与统计学、优化理论、最优控制理论之间的融合；2、与心理学和神经科学之间的深度融合。