LSPI 小车上山实例

《Reinforcement Learning: State-of-the-Art》 第三章 Least-Squares Methods for Policy Iteration 第五节 举例说明最小二乘法对策略迭代的行为。

将离线LSPI和在线乐观LSPI两种方法，应用于car-on-the-hill问题（Moore和Atkeson，1995），这是近似强化学习的经典benchmark。

由于其维度低，这个问题可以使用简单的线性逼近器来解决，基函数分布在等距网格上。 我们专注于算法的行为。

1.问题模型

图1 左：山上的汽车，小车显示为黑色点。 右：近乎最优的策略（黑色表示a = -4，白色表示a = +4，灰色表示两个行为同样好）

在山上车问题中，必须通过施加水平力驱动质点小车越过无摩擦的山顶。 对于一些初始状态，由于可用力有限，必须首先将汽车向左侧，向上相反的斜坡驱动，并获得向右加速前朝向目标动量。

用  表示汽车的水平位置，它的动力学模型是（在Ernst等人，2005的变体中）：

（1）

是p坐标高度。

状态变量是位置和速度，