【无标题】

model-based RL分为黑盒模型和白盒模型。黑盒模型就是把model当做一个simulator，然后用simulator生成虚拟数据，把虚拟数据当做真实环境收集的数据做model-free RL。之所以叫黑盒模型是因为算法其实不知道数据是怎么产生的（或者说不知道model的解析表达式），只是把模型当做一个可以自动产生数据的simulator。这种黑盒的方法是目前比较主流的，也是比较容易理解的，因为他的大部分理论都建立在model free RL上。

另一种白盒模型就完全不同了，它把model当做一个解析的表达式，然后可以用来解析的计算值函数，然后直接梯度下降更新策略（注意这里的梯度下降会用到模型对动作的导数，只有当你有解析表达式的时候才可能获得）。PILCO就属于这一类，所以整体的理论还有公式都是上面的黑盒模型有很大的不同。再加上PILCO的模型是高斯过程模型，论文里还混杂着高斯过程模型的公式，需要有对应的基础才能理解。总的来说那篇论文确实很难看懂。