从零开始学MATLAB强化学习工具箱使用(一)：在MDP环境中训练强化学习代理

翻译自强化学习工具包文档，加入自己的见解，训练结果是自己跑的。
部分对象在高版本的MATLAB中才有，需使用R2022a及以后的版本。

用Q-learning解决一般马尔科夫决策过程(MDP)环境。

图中：

1. 每个圈代表一个状态；
2. 在每一个状态均有向上和向下两个选择；
3. 代理(Agent)初始状态为状态1；
4. 图中箭头上的值代表智能体状态转换可获得的奖励；
5. 训练目标是使累计获得的奖励最大。

创建MDP环境

创建一个MDP模型，其包含8个状态和两个动作。

MDP = createMDP(8,["up";"down"]);  
%两个参数，传入正整数或字符串向量均可，传入正整数的话，例如此处第一个参数(states)传入8，状态名默认为“s1,s2...”，第二个参数(actions)若也传入正整数，则动作名默认为“a1,a2”。

根据上图转换关系修改MDP模型的状态转换矩阵和奖励矩阵，矩阵元素默认为0。

% 代表从状态1采取动作1（“up”）转移到转态2的概率为1。
MDP.T(1,2,1) = 1;
% 代表从状态1采取动作1（“up”）转移到转态2的奖励为3。
MDP.R(1,2,1) = 3;
MDP.T(1,3,2) = 1;
MDP.R(1,3,2) = 1;
% State 2 transition and reward
MDP.T(2,4,1) = 1;
MDP.R(2,4,1) = 2;
MDP.T(2,5,2) = 1;
MDP.R(2,5,2) = 1;
% State 3 transition and reward
MDP.T(3,5,1) = 1;
MDP.R(3,5,1) = 2;
MDP.T(3,6,2) = 1;
MDP.R(3,6,2) = 4;
% State 4 transition and reward
MDP.T(4,7,1) = 1;
MDP.R(4,7,1) = 3;
MDP.T(4,8,2) = 1;
MDP.R(4,8,2) = 2;
% State 5 transition and reward
MDP.T(5,7,1) = 1;
MDP.R(5,7,1) = 1;
MDP.T(5,8,2) = 1;
MDP.R(5,8,2) = 9;
% State 6 transition and reward
MDP.T(6,7,1) = 1;
MDP.R(6,7,1) = 5;
MDP.T(6,8,2) = 1;
MDP.R(6,8,2) = 1;
% State 7 transition and reward
MDP.T(7,7,1) = 1;
MDP.R(7,7,1) = 0;
MDP.T(7,7,2) = 1;
MDP.R(7,7,2) = 0;
% State 8 transition and reward
MDP.T(8,8,1) = 1;
MDP.R(8,8,1) = 0;
MDP.T(8,8,2) = 1;
MDP.R(8,8,2) = 0;

指定状态“s7”和状态“s8”为结束状态：

MDP.TerminalStates = ["s7";"s8"];

为这个MDP模型创建强化学习MDP环境：

env = rlMDPEnv(MDP);

指定该环境的复位函数，调用复位函数会重置环境状态，这里代理的初始状态为状态1：

env.ResetFcn = @() 1;

固定随机数生成器种子以便复现结果：

rng(0)

创建一个Q-Learning代理

首先根据MDP环境的观测空间和动作空间创建Q表：

obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);
qTable = rlTable(obsInfo, actInfo);

使用Q表创建Q-Learning代理，配置ε-贪心探索。

% 使用rlQAgentOptions去指定创建Q-learning代理的各项值，各项值均有默认值，可修改。
agentOpts = rlQAgentOptions;
% 未来奖励的折扣因子
agentOpts.DiscountFactor = 1;
% 以0.9的概率随机选择动作，0.1的概率选择Q值最大的动作
agentOpts.EpsilonGreedyExploration.Epsilon = 0.9;
% Epsilon值的衰减因子，Epsilon = Epsilon*(1-EpsilonDecay)
agentOpts.EpsilonGreedyExploration.EpsilonDecay = 0.01;
% 指定学习率
agentOpts.CriticOptimizerOptions = rlOptimizerOptions(LearnRate=1);
% 根据Q表创建Q值函数
qFunction = rlQValueFunction(qTable, obsInfo, actInfo);
% 创建Q-Learning代理
qAgent = rlQAgent(qFunction,agentOpts);

训练Q-Learning代理

指定训练参数：

trainOpts = rlTrainingOptions;
% 每轮最大步数
trainOpts.MaxStepsPerEpisode = 50;
% 最大训练轮数
trainOpts.MaxEpisodes = 500;
% 在30个连续回合内平均累计奖励大于13时停止训练
trainOpts.StopTrainingCriteria = "AverageReward";
trainOpts.StopTrainingValue = 13;
trainOpts.ScoreAveragingWindowLength = 30;

使用train函数训练，通过标志doTraining控制训练或读取训练好的模型。

doTraining = false;

if doTraining
    % Train the agent.
    trainingStats = train(qAgent,env,trainOpts); %#ok<UNRCH> 
else
    % Load pretrained agent for the example.
    load("genericMDPQAgent.mat","qAgent"); 
end

回合奖励曲线、平均奖励曲线、Q值曲线：

验证Q-Learning的结果

使用sim函数在训练环境里仿真，智能体可以成功找到最优路径，获得最大累计奖励。

Data = sim(qAgent,env);
cumulativeReward = sum(Data.Reward)

查看训练好的Q表：

QTable = getLearnableParameters(getCritic(qAgent));
QTable{1}