Gaussian Process dynamic programming笔记

该论文于2009年发表在Neurocomputing上，论文作者Marc Peter Deisneroth

摘要部分：主要介绍了RL与Optimal Control的区别：针对Optimal Control需要先验知识；A classic optimal control problem, whereproblem-specific prior knowledge is available, and a classic RL problem, whereonly very general priors can be used.

引言部分：Bayesian method的主要特点--利用概率理论确定统计数据的不确定性。需要注意的一点就是径向基函数（radial basis function networks）也是一种参数化函数逼近器，参数化函数逼近器的主要问题是：在处理数据之前，函数的模型已经确定好了。引言中提到的几篇有关高斯回归应用在控制中的几篇论文需要阅读。

应用evidence maximization 求解超参数时包含有正则化项和loss function 这一项。利用V值实现状态的连续化，利用Q值实现动作的连续化。所以在构建Q值函数的时候是固定状态量，只跟动作有关，这样做一方面可以减少计算量，另一方面有可能Q值对应状态量和动作量都不连续，去掉一个可以减少这方面的影响。

Policy learning 中，分段训练这一块不是很明白，为什么需要分段，文中提到对于有些系统（以欠驱动系统为例）可能存在控制策略不连续的情况，所以做分段处理，这个解释不能说服我。并且论文中分段怎么实现的也不明确，需要自己进一步地去挖掘。

另外对于文中的仿真有几个可以利用，第一个是值函数的分布图；第二个是添加样本的图。