前面关于强化学习的文章中介绍了MDP,动态规划的方法对MDP问题的V函数进行评估和求最优策略。然而现实问题中,往往很多时候环境是未知的。那么这篇文章就介绍一下在未知环境下用Model Free的方法预测MDP。
1. Monte-Carlo (蒙特卡洛)策略估计
Monte-Carlo(MC)方法广泛应用于数学、物理和金融等领域。比如在物理学中研究离子运动轨迹,我们就可以采用Monte-Carlo方法进行多次随机抽样,观测离子运动规律。
同样的,在解决强化学习问题的时候,机器人面对未知环境的时候,它也可以用MC的方法评估当前策略。如果想知道当前策略π,当前状态s下的价值函数V函数,在当前策略π下直接行动,待到达终点之后(完成一个episode),再复盘整个过程所获得的奖励,评估出s状态下的V函数。然后再不停迭代,最终获得该策略π下s状态下的真实V函数Vπ(s)。
当然Monte-Carlo策略估计方法也分为首次访问MC方法和每次访问MC方法,两者唯一的不同只有一处,下面算法过程中在括号中的就是每次访问MC方法。
算法过程如下:
- 在一个episode中,当s状态第一次被访问到(或者每次被访问到)的时候,计数器N(S)=N(S)+1。
- 总共得到的奖励S(s) = S(s) + Gt
- 价值V函数的数值V(s)= S(s) /N(s)
- 当迭代无数次之后,根据大数定理,V(s)就应该趋近真实的V函数Vπ(s)
2. Monte-Carlo(MC)迭代更新
在介绍Monte-Carlo迭代更新之前必须先引入一个迭代求平均的例子。比如你想算一箱苹果中苹果的平均重量,简单的方法是随机抽取几个苹果,将这几个苹果的重量相加再除以个数就估算出了苹果的平均重量。
如果想让这个估计更加精确,你又从箱子里面拿出一个苹果,这时候还需要将所有拿出来的苹果重量相加吗?当然不需要。你只需要将这个苹果的重量减去之前求得的平均数,再除以总共拿出苹果的数量得到误差。最后原平均数加上这个误差就是新的平均数了。证明过程如下。
![img_5bdd31dd3899333ef564f2da9defb4ff.png](https://i-blog.csdnimg.cn/blog_migrate/08a1671ae791b00609d1146847655470.png)
有了这个迭代求平均值的方法我们就可以改进MC算法,不用记住总共得到的奖励S(s)了
对于每个St,和奖励Gt
![img_ae427e5bc9d92fa88676737b484b6617.png](https://i-blog.csdnimg.cn/blog_migrate/83037467b83d68cae78a6c24916cedb7.png)
其实我们甚至都不用记住N(St), 因为在非静态的(Non-Stationary)的问题中,如果N越大,就意味着误差越小,当前行动对V函数的纠正就越小。所以在实际过程中我们往往用一个固定的学习速率α来代替1/N(St):
![img_6bdcb4f18f40111246645559adc7f96b.png](https://i-blog.csdnimg.cn/blog_migrate/ce1feee1ade4a0b03949ada46908137a.png)
这个公式是不是跟之前的梯度下降(Gradient Desent)方法非常类似了。
3. Temporal-Defference (TD)算法
MC有一个很大的缺点,就是要更新V(s)一定要走完整个epsoide。TD方法不需要走完整个epsoide,走有限几步就可以更新,极端情况下TD(0)甚至可以走一步就更新。
回顾MC算法:
![img_7b9897181b6cce697ef755dc0b620665.png](https://i-blog.csdnimg.cn/blog_migrate/fa570d693b966ffc00d112b8bf10a2b1.png)
其中
![img_02535887ddf446b44a5a1e19df1988dc.png](https://i-blog.csdnimg.cn/blog_migrate/aa3f884bfe674ff60021b8210e07d70c.png)
TD(0)算法:
![img_6a3055de9ac2cce5407056ac9a21c235.png](https://i-blog.csdnimg.cn/blog_migrate/e0443af68b0cc2174cc8792a47a69457.png)
如英文描述红色文字部分叫做TD-target。与MC类似括号里面的误差叫做TD error
4. MC vs TD
MC有高Variance 零Bias:
- 收敛性好
- 对初始值不敏感
- 算法容易理解和使用
MC 对解决非马可夫环境(或者部分马可夫环境)效果好。
TD有低的Variance,一些Bias
- 比MC效率高
- TD(0)能收敛于Vπ(s)
- 对初始值敏感
TD能探索出马可夫模型,对马可夫环境效果好。
5. DP,MC,TD比较
之前文章中介绍的动态规划(DP),与MC,TD相比较可以发现
![img_ba46321447587f20ca424f075bb52bfb.png](https://i-blog.csdnimg.cn/blog_migrate/f8e05d0ec6ecad74c0a9f62d4aa47cc6.png)
从抽样的数量和反馈的深度可以这样理解DP,MC和TD
![img_bdaf7f3fd1582c8fdb98defb94a1e03f.png](https://i-blog.csdnimg.cn/blog_migrate/1a4f239a5f3648a775aa86d1038f6f0a.png)
实际上TD不仅仅只有只走一步的TD(0), 可以是n TD(n)。当n等于无穷大的时候TD=MC
![img_68512851f13a4f49d3499a9100dfb4f0.png](https://i-blog.csdnimg.cn/blog_migrate/f324c882bb1f460c433066986a865131.png)