强化学习原理python篇03——贝尔曼最优公式

本章全篇参考赵世钰老师的教材 Mathmatical-Foundation-of-Reinforcement-Learning Optimal State Values and Bellman Optimality Equation章节，请各位结合阅读，本合集只专注于数学概念的代码实现。

例子

对于网格世界这样一个例子，其贝尔曼公式中的R和P为

R = np.array([-1, 1, 1, 1]).reshape(-1, 1)
P = np.array(
    [
        [0, 1, 0, 0],
        [0, 0, 0, 1],
        [0, 0, 0, 1],
        [0, 0, 0, 1],
    ])

求解状态值

给定$\gamma =0.9$，利用上一节的解析解求解公式得到状态值

closed_form_solution(R, P, 0.9)

array([[ 8.],
       [10.],
       [10.],
       [10.]])

求解行动值

$$\begin{array}{rl}{q}_{\pi }(s_1;a_1)=& -1+\gamma v_{\pi }(s_1)=6.2\\ q_{\pi }(s_1;a_2)=& -1+\gamma v_{\pi }(s_2)=8\\ q_{\pi }(s_1;a_3)=& 0+\gamma v_{\pi }(s_3)=9\\ q_{\pi }(s_1;a_4)=& -1+\gamma v_{\pi }(s_1)=6.2\\ q_{\pi }(s_1;a_5)=& 0+\end{array}$$