人工智能教程 - 专业选修课程4.3.5 - 强化学习 10.策略评估,策略迭代

策略评估 Policy Evaluation

• 问题：评估策略$\pi$ Problem: evaluate a given policy $\pi$
• 解决方案：贝尔曼期望的迭代应用 Solution: iterative application of Bellman expectation backup
  $v_1\to v_2\to ...\to v_{\pi }$
• 使用同步备份(迭代) Using synchronous backups,
  • At each iteration k + 1
  • For all states s ∈ S
  • Update $v_{k+1}(s)$ from $v_k(s^{\prime })$
  • where s’ is a successor state of s
    

小世界网格

智能体使用统一概率随机策略(uniform random policy)

π(n|·) = π(e|·) = π(s|·) = π(w|·) = 0.25

通过循环迭代，得到最佳策略

策略迭代

使用了贪心算法，通过反复迭代，最终收敛到最佳策略。

图形化其收敛过程：

改进的决策算法