【路径规划】强化学习Q-Learing栅格地图路径规划【含Malab源码 2720期】

最新推荐文章于 2024-07-14 14:53:00 发布

Matlab武动乾坤

最新推荐文章于 2024-07-14 14:53:00 发布

阅读量449

点赞数

分类专栏： Matlab路径规划（进阶版）文章标签： matlab

本文链接：https://blog.csdn.net/KeepingMatlab/article/details/134541631

版权

Matlab路径规划（进阶版）专栏收录该内容

716 篇文章 28 订阅

订阅专栏

✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。
🍎个人主页：海神之光
🏆代码获取方式：
海神之光Matlab王者学习之路—代码获取方式
⛳️座右铭：行百里者，半于九十。

⛄一、强化学习Q-Learing

使用强化学习中的Q-Learning算法路径规划的步骤如下：
定义状态(State)：将栅格地图划分为离散的状态间。每个栅格可以是一个状态，或者根据需求进一步细分。
定义动作(Action)：定义智能体可以采取的动作集合，例如上、下、左、右等。每个动作对应智能体在当前状态下执行的操作。
定义奖励(Reward)：为每个状态和动作定义奖标是让智能体通过选择动作最大化累积奖励。
初始化Q值：创建一个Q表，其行状态，列表示动作。初始化Q表中的Q值为零或随机数。

迭代过程：
a. 选择动作：基于当前状态选择动作。可以使用ε-greedy策略，在ε概率下选择一个随机动作，以便探索未知的状态；否则(1-ε)概率下选择具有最大Q值的动作。
b. 执行动作：在环境中执行选择的动作，观察下一个状态和获得的奖励。
c. 更新Q值：使用Q-Learning更新规则更新Q值。根下一个状态的最大Q值和当前状态的奖励计算新的Q值。
d. 更新状态：将下一个状态设置为当前状态。
e. 重复步骤a-d，直到达到停止条件（例如达到最大迭代次数或收敛）。

使用训练好的Q表选择最佳路径：在训练完成后，使用训练好的Q表选择具有最高Q值的动作作为最佳路径规划方案。

需要注意的是，以上步骤是基本的Q-Learning过程，你可能需要根据具体的栅格地图问题进行相应的调整和优化。

⛄二、部分源代码

function varargout =PathPlanning(varargin)
% 移动机器人路径规划仿真平台接口：仿真平台提供了机器人工作环境的仿真界面，利用inf=load(‘inf’),sp=inf.StartPoint,
% EP=inf.EndPoint,WS=inf.env得到机器人工作环境的出发点、目标点位置及障碍物位置信息，工作空间边界及障碍物区域设置为1，自由空间
%设置为0。
gui_Singleton = 1;
gui_State = struct(‘gui_Name’, mfilename, …
‘gui_Singleton’, gui_Singleton, …
‘gui_OpeningFcn’, @Simulation_OpeningFcn, …
‘gui_OutputFcn’, @Simulation_OutputFcn, …
‘gui_LayoutFcn’, [] , …
‘gui_Callback’, []);
if nargin && ischar(varargin{1})
gui_State.gui_Callback = str2func(varargin{1});
end

if nargout
[varargout{1:nargout}] = gui_mainfcn(gui_State, varargin{:});
else
gui_mainfcn(gui_State, varargin{:});
end
% End initialization code - DO NOT EDIT

% — Executes just before GridSimulation is made visible.
function Simulation_OpeningFcn(hObject, eventdata, handles, varargin)
% This function has no output args, see OutputFcn.
% hObject handle to figure
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
% varargin command line arguments to GridSimulation (see VARARGIN)

% Choose default command line output for GridSimulation
handles.output = hObject;
% Update handles structure
guidata(hObject, handles);
% UIWAIT makes GridSimulation wait for user response (see UIRESUME)
% uiwait(handles.mainfig);
%cd D:\Simulation\EvolvingPath\path
cla
grid on
xlabel(‘X’); ylabel(‘Y’);
%初始化，获取各对象句柄
handles.StartPoint=findobj(‘tag’,‘StartPoint’); %获取“设置开始点”按钮句柄
handles.EndPoint=findobj(‘tag’,‘EndPoint’); %获取“设置目标点”按钮句柄
handles.Obstacle=findobj(‘tag’,‘Obstacle’); %获取“设置障碍物”按钮句柄
handles.Start=findobj(‘tag’,‘Start’); %获取“开始运行”按钮句柄
handles.OldEnv=findobj(‘tag’,‘OldEnv’); %获取“还原环境”按钮句柄
handles.MainAxes=findobj(‘tag’,‘MainAxes’); %获取主坐标句柄
handles.MainFigure=findobj(‘tag’,‘MainFigure’); %获取主窗口句柄
%初始化，设置各按钮显示状态
set(handles.StartPoint,‘Enable’,‘on’) %“设置开始点”按钮可用
set(handles.EndPoint,‘Enable’,‘off’) %“设置目标点”按钮禁用
set(handles.Obstacle,‘Enable’,‘off’) %“设置障碍物”按钮禁用
set(handles.Start,‘Enable’,‘off’) %“开始运行”按钮禁用
set(handles.OldEnv,‘Enable’,‘off’) %“还原环境”按钮可用
set(handles.MainFigure,‘WindowButtonDownFcn’,‘’); %
set(handles.MainFigure,‘WindowButtonUpFcn’,‘’); %
set(handles.MainAxes,‘ButtonDownFcn’,‘’); %
set(handles.MainAxes,‘ButtonDownFcn’,‘’); %
inf=load(‘inf’); %打开环境信息文件，inf.mat由save命令创建，存储了开始点、目标点、障碍物信息等
XLim=30; %x轴最大取值
YLim=30; %y轴最大取值
BreakTask=0; %初始化终止任务变量
for i=1:XLim %将边界设置成障碍物
for j=1:YLim
if ((i1)|(iXLim)|(j1)|(jYLim))
ws(i,j)=1;
end
end
end
save(‘inf’,‘ws’,‘-append’);
save(‘inf’,‘BreakTask’,‘-append’);

% — Outputs from this function are returned to the command line.
function varargout = Simulation_OutputFcn(hObject, eventdata, handles)
% varargout cell array for returning output args (see VARARGOUT);
% hObject handle to figure
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)

% Get default command line output from handles structure
varargout{1} = handles.output;
% — Executes on button press in StartPoint.
function StartPoint_Callback(hObject, eventdata, handles)
% hObject handle to StartPoint (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
set(handles.StartPoint,‘Enable’,‘off’)
set(handles.EndPoint,‘Enable’,‘on’)
set(handles.Obstacle,‘Enable’,‘off’)
set(handles.Start,‘Enable’,‘off’)
flag=0;
save(‘inf’,‘flag’,‘-append’);
set(handles.MainFigure,‘WindowButtonDownFcn’,‘’);
set(handles.MainFigure,‘WindowButtonUpFcn’,‘’);
set(handles.MainAxes,‘ButtonDownFcn’,‘PathPlanning(’‘MainAxes_ButtonDownFcn’‘,gcbo,[],guidata(gcbo))’);
% — Executes on button press in EndPoint.
function EndPoint_Callback(hObject, eventdata, handles)
% hObject handle to EndPoint (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
set(handles.StartPoint,‘Enable’,‘off’)
set(handles.EndPoint,‘Enable’,‘off’)
set(handles.Obstacle,‘Enable’,‘on’)
set(handles.Start,‘Enable’,‘on’)
flag=1;
save(‘inf’,‘flag’,‘-append’);
%set(handles.MainFigure,‘WindowButtonDownFcn’,‘’);
%set(handles.MainFigure,‘WindowButtonUpFcn’,‘’);
set(handles.MainAxes,‘ButtonDownFcn’,‘PathPlanning(’‘MainAxes_ButtonDownFcn’‘,gcbo,[],guidata(gcbo))’);
% — Executes on mouse press over axes background.
function MainAxes_ButtonDownFcn(hObject, eventdata, handles)
% hObject handle to MainAxes (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB
% handles structure with handles and user data (see GUIDATA)
inf=load(‘inf’);
flag=inf.flag;
start_end=inf.start_end;
p=get(handles.MainAxes,‘CurrentPoint’);
hold on;
if(flag==0)
p=round§;
start_end(1,1)=p(1,1);start_end(1,2)=p(1,2); %记录起点信息，给inf.mat文件赋值
StartPoint(1,1)=p(1,1);StartPoint(1,2)=p(1,2); %为当前点赋值，当前点为起点的位置信息

save('inf','StartPoint','-append');
HRobot=plot(start_end(1,1),start_end(1,2),'pentagram');                %画开始点位置
text(start_end(1,1)-.5,start_end(1,2)-.5,'起点');
RobotDirection=inf.RobotDirection;%机器人方向应该是传递参数
x=start_end(1,1);
y=start_end(1,2);
RobotPosX=x;
RobotPosY=y;

save(‘inf’,‘RobotPosX’,‘-append’);
save(‘inf’,‘RobotPosY’,‘-append’);
else
p=round§;
start_end(2,1)=p(1,1);start_end(2,2)=p(1,2);
EndPoint(1,1)=p(1,1);EndPoint(1,2)=p(1,2); %为当前点赋值，当前点为结束点的位置信息
EndPoint=round(EndPoint);
save(‘inf’,‘EndPoint’,‘-append’);
plot(start_end(2,1),start_end(2,2),‘*’,‘color’,‘r’)
text(start_end(2,1)-.5,start_end(2,2)+.5,‘目标点’);
end

⛄三、运行结果

在这里插入图片描述

⛄四、matlab版本及参考文献

1 matlab版本
2014a

2 参考文献
[1]钱程,许映秋,谈英姿.A Star算法在RoboCup救援仿真中路径规划的应用[J].指挥与控制学报. 2017,3(03)

3 备注
简介此部分摘自互联网，仅供参考，若侵权，联系删除

🍅 仿真咨询
1 各类智能优化算法改进及应用
生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化

2 机器学习和深度学习方面
卷积神经网络（CNN）、LSTM、支持向量机（SVM）、最小二乘支持向量机（LSSVM）、极限学习机（ELM）、核极限学习机（KELM）、BP、RBF、宽度学习、DBN、RF、RBF、DELM、XGBOOST、TCN实现风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断

3 图像处理方面
图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知

4 路径规划方面
旅行商问题（TSP）、车辆路径问题（VRP、MVRP、CVRP、VRPTW等）、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、车辆协同无人机路径规划、天线线性阵列分布优化、车间布局优化

5 无人机应用方面
无人机路径规划、无人机控制、无人机编队、无人机协同、无人机任务分配

6 无线传感器定位及布局方面
传感器部署优化、通信协议优化、路由优化、目标定位优化、Dv-Hop定位优化、Leach协议优化、WSN覆盖优化、组播优化、RSSI定位优化

7 信号处理方面
信号识别、信号加密、信号去噪、信号增强、雷达信号处理、信号水印嵌入提取、肌电信号、脑电信号、信号配时优化

8 电力系统方面
微电网优化、无功优化、配电网重构、储能配置

9 元胞自动机方面
交通流人群疏散病毒扩散晶体生长

10 雷达方面
卡尔曼滤波跟踪、航迹关联、航迹融合