RLAI读书笔记-第五章-Monte Carlo

Monte Carlo Methods
无模型的蒙特卡洛学习方法 Model free
idea:未知转移概率矩阵,未知state-value函数 == 通过模拟计算得到(有限的情节任务)
Monte Carlo使用模拟解决Markov Decision Process

5.1 MC Prediction
MC基于抽样数据计算结果
e.g.游戏类都适合：完全信息博弈游戏，像围棋、国际象棋。非完全信息博弈游戏：21点、麻将等等

在Episode中的模拟得到value
first-visit MC  
every-visit MC  在一个Episode中,Q(s,a)出现多次如何评估？(平稳性/非平稳性Reward)
平稳性:  均值  V(St) = average(Returns(St))
非平稳性: 1/k换成折扣因子α  Vk+1 = Vk + α*(Gk - Vk) α越大越重视眼前Reward  Gk当前的收获  Vk每次遇到S的平均价值

5.2 MC Estimation of action-valu