旋翼机自主着陆-主要技术难点

搜索阶段:

远距离：

​ 目标为几个像素，并且淹没在环境里
​ 完全没有任何目标或目标偶尔出现，如何进行导航

中远距离

​ 目标部分容易被遮挡，如何进行目标检测
​ 在光线条件较差的环境下，目标检测出现误判和无法工作的情况

近距离

​ 目标在视场中占据较大部分，飞机的剧烈姿态变换容易引起目标丢失
​ 受到飞机震动和相机抖动限制，特征点提取误差较大，位姿解算精度不高

当前解决方案：

1.依靠GPS、RTK等设备进行目标追踪

存在与目标的通信
特定的环境中GPS设备无法使用
依赖于无人机外部的系统，并且可能被卡住，扰乱或欺骗

2.依靠主动发光的着陆点作为目标，采用多元图像融合的方法实现红外和可见光图像融合的自主识别，提高视觉系统的自适应性

3.采用机器学习的方法对目标活动范围对环境进行学习，构建快速对图像分割模型

4.应用实例：

Robust Autonomous Ship Deck Landing for Rotorcraft 2016 卡内基梅隆

使用长波红外相机， 长波红外辐射在波长介于8到12微米之间传播，具有独特的能力，可以在恶化的视觉条件下（例如雾或烟雾）穿透遮挡物，优于可见光谱中的光。

在数千到500米的距离处，飞机上的传感器检测到船并沿着正确的甲板进场航向对齐其轨迹，补偿航行方向，航行速度，风和其他因素。 当飞机吸入500至50米的距离时，它开始估计甲板的运动模型。 在最后的50米中，轨迹规划器改进了甲板的运动模型，然后使用该模型执行最终的着陆操纵。

To Learn or Not to Learn: Visual Localization from Essential Matrices 2019.8.4 慕尼黑工业大学

由三个阶段组成：
第一阶段，使用图像检索来识别一组图像，这些图像可能描绘与查询图像相同的场景部分。
第二阶段，对于每个检索到的图像，我们计算基本矩阵，该矩阵编码其相对于查询图像的相对姿势。
第三阶段，使用已检索图像的已知绝对姿势，我们能够对查询图像的位置进行三角测量并估计其方向，同时在RANSAC中对其进行形式化。

跟踪阶段:

目标检测

​ 如何很好区分背景和目标，在环境噪声中提取小目标
​ 收到飞机自身姿态角和相机视场限制，变化较快的目标容易丢失
​ 无人机机载的算力和功率有限

跟踪策略

​ 在未识别到目标或只有部分目标的条件下如何实现目标跟踪
​ 在远距离识别到目标条件下如何跟踪
​ 在近距离识别到目标条件下如何跟踪
​ 在跟踪过程中如何在节省飞机自身动力资源的条件下实现轨迹最优

轨迹预测

​ 如何对行驶在马路上的高速车辆目标进行轨迹预测
​ 如何对行驶在海面上的船舰进行轨迹预测
​ 如何对飞行在空中的目标进行轨迹预测

当前解决方案：

To Learn or Not to Learn: Visual Localization from Essential Matrices 2019.8.4 慕尼黑工业大学

基于特征和基于学习的方法的混合，其中通过神经网络学习特征提取和特征匹配，在目标识别跟踪对同时进行模型更新学习，提高检测效率

从视觉分级、多估计中心的角度，将基础的合作目标扩展为分布式多合作目标，提高解算精度和高度限制

Vision-based Autonomous Landing of a Quadrotor Using a Gimbaled Camera 2018 北京理工大学

基于自适应视觉的云台平台控制器可确保摄像机的视线始终跟踪平台，优势在于采用的PT平台的动态比MAV快得多，MAV和移动平台之间的相对位置可以从PT平台的旋转角度计算。这样做减轻飞行器的运动负担，它不必总是保持在目标之上，同时视觉监测上也不会受到飞机震动或运动带来的影响。

Autonomous Landing of a Multirotor Micro Air Vehicle on a High Velocity Ground Vehicle 2017 加拿大蒙特利尔理工学院

比例导航控制器用于远程方法，随后转换为近距离的PID控制器。 卡尔曼滤波器用于通过将来自MAV的机载INS，视觉基准标记和移动电话的测量结果融合来估计MAV相对于着陆点的位置。但是此系统在着陆垫上未使用多尺度视觉基准，以允许使用单个摄像机在更长和更近的范围内进行视觉目标跟踪，或通过消除通过手机获得移动目标的GPS坐标来简化系统。

Autonomous landing on a moving car with unmanned aerial vehicle 2017 国际机器人挑战赛

第一部分提供了世界框架坐标系中汽车位置的测量，测量由汽车状态估计器处理，汽车状态估计器以非完整的汽车模型的方式输出汽车状态的近似值。
第二部分将汽车状态的估计值传达给汽车状态预测器，其输出是汽车的未来轨迹。
第三部分将汽车未来轨迹被控制跟踪器作为参考，其最小化MAV未来状态的预测未来的二次误差，从而高于汽车。
第四部分将控制跟踪器将所需状态（位置，速度和加速度）输出到状态反馈控制器。状态反馈控制器是传递函数的最后一部分，它为Pixhawk飞行控制器生成命令。

降落阶段：

目标检测

​ 着陆过程中目标变化较快，如何在飞机高速移动过程中进行目标检测
​ 在识别到部分目标的情况下如何进行位姿结算

着陆控制

​ 在降落过程中如何保证飞机与移动目标的相对位置在很小的区间内
​ 在降落时如何确保飞机能平稳降落

降落点选择

​ 采用何种方法对降落点进行评判选择
​ 降落点如何构型可以实现多个阶段的视觉位姿解算
​ 何种降落点的普遍适应性较好

当前解决方案：

Monocular and Stereo Cues for Landing Zone Evaluation for Micro UAVs 2018.12.9 卡内基梅隆ICRA

使用立体相机和惯性传感器组合分析无人机下方的表面。坡度和粗糙度是用于评估地形的两个指标。

基于单目相机的方法可大致分为两种类型。一种类型是使用单应矩阵来找到平面区域中的特征点

另一种方法是使用运动立体三角测量来构建密集点云。这些方法可以在静态环境（如刚性地面，屋顶）中很好地工作，但在极地几何失效的动态场景中无法工作，例如水，水波纹，树上的叶子

Vision-Based Autonomous UAV Navigation and Landing for Urban Search and Rescue. 2019.06 苏黎世联邦理工学院

评估地形的平整度和倾斜度，深度信息的能力以及降落在探测到的场地上所需的能量来评估着陆点的风险。
首先通过计算每个上述危险因素的成本图的加权和来在本地估计一组密集的候选着陆点。接下来，使用基于聚类的方法优化无人机探索的整个区域。一旦确定了最终着陆点，系统就会考虑附近的障碍物以及无人机动力学来计算最小冲击轨迹并执行着陆机动。

Toward GPS-denied Landing of Unmanned Aerial Vehicles on Ships at Sea 2015 海军工程教育中心（NEEC）设计

以计算机视觉技术和延迟状态估计框架为中心,将得到的单应性分解为无人机和着陆平台之间的六自由度（6-DOF）相对姿势信息，执行状态估计，延迟 - 状态扩展卡尔曼滤波器，然后执行多级运动控制,在实验平台中，低级姿态控制器由无人机制造商设计，因此我们的运动控制设计专注于高级位置控制器。

状态估计：状态估计模块运行延迟状态扩展卡尔曼滤波器，将从UAV（在IMU数据的情况下）和从图像处理模块（用于摄像机观察）发布的观测数据作为输入，输出船舶相对于无人机的导出相对姿态估计

主要技术需求

移动平台

	移动平台尺寸和承载能力需要能够满足无人机的降落要求
	移动平台的速度和位置可实时测量并发送至监控软件
	移动平台可以模拟船舰的运动状态

无人机

	无人机动力配置和载重能力满足实验需求
	无人机应具有高精度的定位性能和自身稳定性
	无人机能够搭载云台相机和小型视觉处理平台

视觉算法

	能够实现各个着陆阶段稳定的目标识别
	在较低算法复杂度的条件下实现特征检测和特征匹配
	能够实时完成教高精度的位姿解算和误差补偿
	如何构建具有低分辨率摄像机和有限计算资源的鲁棒高精度探测器; 

控制算法

	在着陆各个阶段的飞机自身姿态的稳定控制
	在着陆各个阶段飞机的飞行任务的调度
	在具备移动平台的位置速度信息和飞机的位置姿态信息能够实现有效的跟踪控制
	在复杂度较低的环境下能够实现轨迹预测和低功耗轨迹跟踪

漫谈：

以上是我简单梳理的一些旋翼机自主着陆的技术要点，在此领域目前大佬们都在用神经网络在做无人机的视觉导航，不可否认的是这一方法的确解决了很多无法量化的视觉模型，在大佬们的论文里获取数据样本的方法可谓是千奇百怪，我觉得如果能够通过仿真的方法就能够实现数据集的获取应该是最好不过了，如何缩短仿真与实际环境之间的差距也是一个很重要的课题，如果能够突破，那么就可以大幅度减化数据获取和训练这个过程。当然，还可以做一些复杂环境或者数据无法获取环境样本仿真与模型训练。