【优化控制】策略迭代算法求解重构机械臂容错跟踪控制优化问题【含Matlab源码 2682期】

一、策略迭代算法

强化学习有两种常见迭代训练算法：策略迭代算法和值迭代算法。本文中主要讲述策略迭代算法。

先从一个简答的问题开始，下图为一个四方格子，每个位置的状态空间分别为{1, 2, 3, 4}, 其中 3 的位置是个陷阱， 4的位置有个金币。有一个机器人从状态1的位置开始寻找金币。落入陷阱的回报为-1，找到金币的回报为1，在其他位置间移动回报为0，可选的动作空间为{上，下，左，右}， 通过这个简单的问题，来学习强化学习的学习原理。

强化学习的学习过程，个人理解就是通过不断的尝试，去更新每个状态的值函数(每个状态的值代表了当前状态的优劣，如果状态值很大，从其他状态选择一个动作，转移到该状态便是一个正确的选择)，然后通过更新后的值函数去动态的调整策略，在调整策略后，又去更新值函数，不断的迭代更新，最后训练完成一个满足要求的策略。在这个过程中，抽象出两个主要的过程，第一个叫策略评估，第二个叫策略改善。

针对上面给出的简单问题，先说明一些简单的概念:

每个状态的值函数：
代表机器人处于该状态时的优劣值。

针对问题的当前策略：
代表机器人处于某状态时，选