【无人机】基于PSO-PA和Q-learning机器学习的无人驾驶飞行器 （UAV） 模拟器研究（matlab代码实现）

👨‍🎓个人主页：研学社的博客 

💥💥💞💞欢迎来到本博客❤️❤️💥💥

🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。

⛳️座右铭：行百里者，半于九十。

📋📋📋本文目录如下：🎁🎁🎁

目录

💥1 概述

📚2 运行结果

🎉3 参考文献

🌈4 Matlab代码实现

---

💥1 概述

针对无人机不合理的飞行路线产生过高的能耗问题，提出了一种基于Q-learning的无机路径优化算法。首先构建了无人机与传感器的通信模型，设计了无人机飞行和通信的育艺不模型。其次，制定了无人机的飞行策略，推导出无人机整个飞行过程中的能耗表达式。最后通过Q-learning 算法来对无人机的飞行轨迹进行学习，最小化无人机的飞行能耗。仿真结果表明本文的算法与其他算法相比，无人机所产生的能耗最小，说明了该算法的优越性和先进性。
随着无线通信的发展，无重大障碍的偏远地区非常适合无人机基站通信，无人机基站在三维空间中具有灵活性l4I。静态传感器节点数据采集是传感器网络的典型应用。由于无人机可以与空中的传感器建立可靠的连接，因此通过无人机收集传感器数据是有意义的。无人机通信系统的节能设计与地面通信系统不同[5-61。地面通信系统主要考虑通信传输能耗。相比之下，无人机系统在完成通信任务的前提下考虑飞行能耗。因此，系统能耗优化主要涉及覆盖路径规划(CoveragePathPlanning,CPP)，其目标是找到一条能够完全到达所有传感器节点的路径。目前，大多数无人机采用基于任务执行的简单几何飞行模式。现有文献[79l为无人机飞行提供了一些更好的飞行策略。在多边形区域内，设计了曲折飞行策略来替代随机飞行。对于更一般的区域，采用深度搜索策略遍历所有可能的情况，以计算最佳路径。该方法计算量大，可以通过剪枝进一步优化。

在对该代码进行一些修改后，可以重现文章中的一些图形。该代码将有助于使用机器学习方法开始研究无人机 3D 放置、功率分配、用户关联，并且可以轻松修改用于深度学习算法。

📚2 运行结果

 

 

可视化：

%% Plots
% For 4 UAVs case and n loops, height lenght

clear;
h = 100:400:800;
NUAVs =8; h_lenght = 18; n=1;
s = sprintf('fresult_%d_%d_%d.mat',NUAVs,h_lenght,n);
filename = strcat(s);
load(filename);
for h1= 1:length(h) 

% Sum rate 
res =f_result{h1,:};
r=0;
sum =0;

min_cuav = 0;
sum_minCFUE=0;
for i=1:n
r = res{i}.sum_CFUE;
sum = sum +r;

min_cuav = res{i}.min_CFUE;
sum_minCFUE = sum_minCFUE +min_cuav;
end

mean_sum_rate = sum/n;
mean_cuav_rate = sum_minCFUE/n;

height_vs_rate(h1,:) = [h(h1) mean_sum_rate];
height_vs_uavrate(h1,:) = [h(h1) mean_cuav_rate];
end
%% plot height vs mean sum rate
figure
plot(height_vs_rate(:,1), height_vs_rate(:,2), 'r*');
%% plot height vs UAV UE rate
figure
plot(height_vs_uavrate(:,1), height_vs_uavrate(:,2), 'k-');
%end

🎉3 参考文献

部分理论来源于网络，如有侵权请联系删除。

[1]于建国. 基于机器学习的无人机能耗优化关键技术研究[D].南京邮电大学,2021.DOI:10.27251/d.cnki.gnjdc.2021.001594.

[2]严海军,卓越,李茂娜,王云玲,郭辉,王晶晶,李长硕,丁峰.基于机器学习和无人机多光谱遥感的苜蓿产量预测[J].农业工程学报,2022,38(11):64-71.

[2]Zeeshan Kaleem et. al.,, “Prioritized User-Association for Sum-Rate Maximization in UAV-Assisted Emergency Communication: A ReinforcementLearning Approach,” Drones, vol. xx, no. xx, pp. xx, January 2022.

🌈4 Matlab代码实现