7.1. 基于函数逼近的优化

在本书的第二部分，我们扩展了第一部分中介绍的表格方法，以适用于 任意大的状态空间的问题。

• 在我们想要应用强化学习的许多任务中，状态空间是组合的和巨大的；例如，可能的相机图像的数量远大于宇宙中的原子数。

思路：在这种情况下，即使在无限时间和数据的限制下，也不能期望找到最优策略或最优值函数； 目标是使用有限的计算资源找到一个好的近似解决方案。

大状态空间的问题不仅仅是大表格所需的内存，而是准确填充它们所需的时间和数据。

近似解决方案：在我们的许多目标任务中，几乎所遇到的每个状态都将永远不会被看到。 为了在这种状态下作出明智的决定，有必要从以前的经验中推广出一些与现有状态相似的不同状态。 换句话说，关键问题是 泛化。如何有效地 推广有限状态空间子集的经验，以便在更大的子集上产生良好的近似？

泛化方法（函数近似）：来自实例的泛化已经广泛研究了，我们不需要发明用于强化学习的全新方法。 在某种程度上，我们只需要将强化学习方法与现有的泛化方法相结合。

• 需要的泛化类型通常称为 函数近似：因为它从所需函数（例如，价值函数）中获取示例并尝试从它们推广以构造整个函数的近似。
• 函数逼近是监督学习的一个实例，是机器学习，人工神经网络，模式识别和统计曲线拟合中研究的主要课题。