果园环境下的路径检测论文汇总

2018

Orchard Free Space and Center Line Estimation Using Naive Bayesian Classifier for Unmanned Ground Self-Driving Vehicle

摘要： 在果园自主导航的情况下，研究人员开发了利用果园中的树干、树冠和天空等特征的算法，但在不断变化的农业环境中，识别自主导航的自由空间仍存在各种困难。在本研究中，我们应用朴素贝叶斯分类来检测树干和地面之间的边界，并提出了一种确定自由空间中心线的算法。朴素贝叶斯分类需要少量的样本进行训练和一个简单的训练过程。此外，它还能够有效地对果园的树干点和噪声点进行基于视觉处理的分类，以及小树枝、土壤、杂草、地面树木阴影造成的噪声。利用基于互补金属氧化物半导体（CMOS）图像传感器（CIS）相机的图像采集系统获得的229个样本图像，研究了该算法的性能。对单眼人工决策检测到的中心线与该算法提取的结果进行了比较和分析。在所有比较参数中，提取的中心线比手动的中心线结果更稳定。

2020

果园智能车辆自动导航系统关键技术研究

摘要： 针对环境感知定位中激光数据易受跨行果树或行间小型障碍物等因素影响，造成定位精度变差的问题，提出了一种将距离阈值法或统计滤波法相组合的数据预处理方法。为了减少导航系统的运算量，提出了一种利用欧式聚类后同棵果树下最短p值点、激光发射点和果树树干中心点几何三点共线原理来获取树干特征中心点的方法。实验结果表明与实际位置相比在X轴方向最大偏差为8cm，平均偏差为3.2cm,标准差为2.7cm；在Y轴方向最大偏差为9.9cm，平均偏差为6.5cm，标准差为2.3cm，精度可以满足实际需要。同时采用最小二乘法完成了对导航直线路径的拟合，并将航向偏差和横向偏差作为导航控制参数进行获取，与实际值相比航向角最大绝对误差为0.95°，平均绝对误差为0.682°，均方根误差为0.237°；横向偏差最大绝对误差为4.66cm，平均绝对值差为2.119cm,均方根误差为1.010cm，实验结果表明导航参数获取精度可以满足试验平台在果园自主作业要求。

Path detection for autonomous traveling in orchards using patch-based CNN

摘要： 本文提出了一种新的、高效的基于补丁的果园等半结构化环境中的自动路径检测方法。该方法可以在正面场景中分割一个透视路径区域，有望应用于农业中的各种区域检测任务。在提出的方法，基于patch的卷积神经网络（CNN）用于图像分类实现路径区域分割，包括裁剪图像补丁输入图像使用滑动窗口，生成一个路径得分地图使用四层CNN树和路径分类，路径区域分割，目标路径检测使用边界线确定。结果表明，路径区域定位的最大交集（IoU）约为0.81，平均横向误差和角误差分别为0.051和7.8°。基于补丁的路径检测的性能取决于滑动窗口的补丁大小。因此，根据补丁大小来评估路径检测性能，当补丁大小为96×96时，其性能最好，分类精度为0.93，IoU为0.75，处理时间为0.111 s。此外，通过将该方法应用于包括弯曲路径在内的各种图像，验证了该方法的有效性。结果表明，所提出的基于补丁的路径检测方法的性能可与以前的方法相媲美。此外，利用该技术具有简单的硬件配置，可以很容易地开发一个自主的农场机器人。

Development of a spraying robot for precision agriculture: An edge following approach

摘要： 本文提出了在葡萄园或果园框架下自主喷洒任务的农业机器人的贡献。由于这种应用的一个重要点依赖于植被的处理，同时减少危险化学产品的传播，因此提出了一种使用激光雷达检测植物的控制方法，用于控制机器人运动和实现喷洒自动化。一种专用的喷洒装置，允许独立（去）激活几个喷嘴，已经设计并安装在一个移动机器人上，自动跟踪检测到的结构（通常是一排树）。喷雾器和机器人相对于植被的同步是通过一种预期的方法来确保的，允许在机器人运动之前对植被进行喷洒。

2021

基于 U Net 网络的果园视觉导航路径识别方法

摘要： 针对视觉导航系统在果园环境中面临的图像背景复杂、干扰因素多等问题，提出了一种基于 U Net 网络的果园视觉导航路径识别方法。使用 Labelme 对采集图像中的道路信息进行标注，制作果园数据集; 基于 U Net 语义分割算法，在数据增强的基础上对全卷积神经网络进行训练，得到道路分割模型; 根据生成的道路分割掩码进行导航信息提取，生成路径拟合中点; 基于样条曲线拟合原理对拟合中点进行多段三次 B 样条曲线拟合，完成导航路径的识别; 最后，进行了实验验证。结果表明，临界阈值为 0. 4 时，语义分割模型在弱光、普通光以及强光照条件下的分割交并比分别为 89. 52% 、86. 45% 、86. 16% ，能够平稳实现果园道路像素级分割; 边缘信息提取与路径识别方法可适应不同视角下的道路掩码形状，得到较为平顺的导航路径; 在不同光照和视角条件下，平均像素误差为9. 5 像素，平均距离误差为 0. 044 m，已知所在果园道路宽度约为 3. 1 m，平均距离误差占比为 1. 4% ; 果园履带底盘正常行驶速度一般在 0 ～ 1. 4 m/s 之间，单幅图像平均处理时间为 0. 154 s。在当前果园环境和硬件配置下，本研究可为视觉导航任务提供有效参考。

Deep Semantic Segmentation at the Edge for Autonomous Navigation in Vineyard Rows

摘要：精准农业是一个快速发展的领域，旨在将负担得起和有效的自动化引入农业过程。如今，葡萄园导航的算法解决方案需要昂贵的传感器和高的计算工作负载，这妨碍了自主机器人平台在真实商业案例场景中的大规模适用性。从这个角度来看，我们提出的新控制利用了机器感知和边缘人工智能技术的最新进展，以实现在低计算和功耗的葡萄园行内高度经济和可靠的导航。实际上，使用定制训练的分割网络和低范围的RGB-D相机，我们能够利用环境的语义信息，在不同的葡萄园场景中产生平滑的轨迹和稳定的控制。此外，由控制算法本身生成的分割图可以直接作为作物状态的营养评估的过滤器。对真实世界的数据和模拟环境进行的广泛的实验和评估证明了我们的方法的有效性和内在的鲁棒性。

基于深度学习的果园环境路径识别研究

摘要： 为实现果园环境下的路径识别，本文将深度学习方法与果树行线拟合算法相结合提出DL-LF（Deep learning-Line fitting）算法。在实际的果园中采集大量图像数据，经过整理与标记后用于训练YOLOV3。果园环境下果树行中经常存在电线杆、果树支撑杆，以及杂草等干扰物，同时使用传统的方法很难迅速的识别出一些具有某些共同特征的树和非树目标。经过训练YOLOV3网络可准确识别树干与果树，同时在检测图像时同时输出边界框的坐标文本文件，树干与果树平均检测精度为92.11%。
结合深度学习方法检测图像中树干，将获得的矩形框坐标信息用以提取果园机械行走路径识别。经树干边界框坐标整理与计算后，得到此棵果树参考点坐标。此后，将两侧果树参考点分别用直线拟合算法合出当前果树行参考线。最后，取两侧参考线上最远果树参考点与最近果树参考点为两组的对应点，并分别计算两点所连线段中点。最终所得两个中点所在的直线即为果园机械行走路线，最终能够实现准确拟合果树行中线。果园机械沿着此路线自动行走在果树行间，为实现大规模果园的智能化与自动化管理打下基础。

An End-to-End Learning-Based Row-Following System for an Agricultural Robot in Structured Apple Orchards

摘要：本文研究了一种基于端到端学习的农业机器人行跟踪系统。设计的端到端学习方法不是将导航划分为多个传统的子任务，而是将图像从摄像机直接映射到驾驶命令，这降低了导航系统的复杂性。提出了一种网络训练的样本采集方法，使机器人可以在无需操作员或远程控制的情况下自动驱动和采集数据。不需要对训练样本进行手工标记。为了提高网络的泛化程度，我们采用了批处理归一化、退出、数据增强和10倍交叉验证等方法。此外，还分析了网络的内部表示，并进行了行跟踪测试。测试结果表明，基于端到端学习的视觉导航系统可以根据不同的场景调整机器人的姿势，成功地引导机器人通过树行。

Learned Visual Navigation for Under-Canopy Agricultural Robots

摘要： 本文介绍了一种冠下农场机器人目引导自动导航系统。低成本的冠层下机器人可以在植物冠层下的作物行之间驱动，并完成冠层上的无人机或更大的农业设备无法完成的任务。然而，在树冠下自主导航它们会带来一系列挑战：不可靠的GPS和激光雷达、高感知成本、具有挑战性的农场地形、树叶和杂草造成的杂乱，以及整个季节和不同作物类型的外观的巨大差异。我们通过构建一个模块化系统来解决这些挑战，该系统利用机器学习从低成本相机的单目RGB图像中进行鲁棒和可推广的感知，并在具有挑战性的地形上进行模型预测控制。我们的系统，CropFollow，平均能够自动驾驶485米，在超过25公里的广泛现场测试中，性能优于最先进的激光雷达系统（每次干预286米）。

果园机器人视觉导航行间位姿估计与果树目标定位方法

2022

基于卷积神经网络的果园运载平台行进路径自主检测方法研究

摘要：采用训练好的目标识别模型与运载平台结合，实现路径检测。果园运载平台在果园行进时，改进的YOLOv5s目标识别模型实时检测，将目标框的实时坐标打印出来，得到识别框的位置信息，通过最小二乘法将识别框质心坐标点拟合，得到路径的下一目标点。运载平台实验结果表明，运载平台以0.7m/s的运行速度前进，可在目标识别的同时进行路径检测，能够为果园提供应用于实际环境的路径检测方法。

Development of a Combined Orchard Harvesting Robot Navigation System

摘要： 本研究旨在开发一种双主从模式的果园收获自动机器人导航系统，以自主导航拖拉机果园运输机器人为主，以导航果园采摘机器人为主。这就解决了在单主从导航模式下，农业联合收获设备不能在苹果树行之间重复停止和连续驱动的问题。根据从全球定位系统(GNSS)获得的距离，利用地面点切换运输拾取机器人的导航模式。采用布模拟滤波器（脑脊液）和随机样本一致(RANSAC)算法获取行间航路点。手动选择GNSS点作为主的转弯路径点，采用运动学模型计算从机的转弯路径点。最后，我们使用纯追踪算法对这些路径点进行顺序跟踪，以实现主从导航和地面头主从命令导航。实验结果表明，当机器人在50 m范围内的果园行内进行通信时，数据包丢失率小于1.2%，满足了机器人果园的通信要求。主从机器人可以通过跟踪导航实现行重复停止，满足联合果园收割的要求。主机器人位置偏差的最大、最小、均值和标准差分别为5.3cm、0.8cm、2.4cm和0.9cm。从属机器人的位置偏差大于主机器人，最大、最大、最小、均值和标准偏差分别为39.7cm、1.1cm、4.1cm和5.6cm。主从机器人之间的以下误差的最大、最小、均值和标准差分别为4.4cm、0cm、1.3cm和1 cm。对于地面航向转弯，指挥导航方法允许连续转弯，但机器人之间的横向偏差大于0.3 m，小于1m，航向偏差大于10◦，小于90◦。

Tree Trunk Recognition in Orchard Autonomous Operations under Different Light Conditions Using a Thermal Camera and Faster R-CNN

摘要：在果园自动化过程中，当前的一个挑战是识别自然地标和树干来定位智能机器人。为了克服低光条件和全球导航卫星系统(GNSS)在密集的树冠下的信号中断，可以使用热敏摄像机来使用深度学习系统来识别树干。因此，本研究的目的是使用热敏摄像机在低光条件下检测一天中不同时间的树干，使用深度学习来让机器人导航。在2021年8月和9月（夏季），在强光（下午12-2点）、低光（下午5-6点）和无光（晚上7-8点）条件下的两种果园（常规和联合训练系统）的密集树冠层的热图像。热敏相机验证了树干的检测精度，在高、低光和无光条件下，5米的平均误差为0.16m，15米的平均误差为0.24m，20米距离的平均误差为0.3 m。热图像数据集被增强来训练，验证和测试使用更快的R-CNN深度学习模型来检测树干。共使用12876张图像进行模型训练，2318张图像用于验证训练过程，1288张图像用于模型测试。模型的mAP为0.8529，测试过程为0.8378。当热敏摄像机设置为11FPS时，图像的平均目标检测时间为83 ms，视频的平均目标检测时间为90 ms。将模型与相同数据集和训练条件的YOLO v3进行比较。在比较中，更快的R-CNN在使用热成像相机检测卡车时获得了比YOLO v3更高的精度。因此，研究结果表明，更快的R-CNN可以利用热图像识别物体，使机器人能够在不同光照条件下的果园中导航。

Semantic segmentation and path planning for orchards based on UAV images

摘要： 提出了一种新的语义分割网络——空间无人机深度网络（SADNet）对果园无人机（UAV）图像进行分割。在SADNet中，引入了一种深度标识卷积块（DIC）来优化网络特征提取能力。引入了一种空间空间金字塔池模块（ASPP）来融合多尺度语义信息。为了改善网络的接受域，我们还引入了并发的空间和通道挤压和激励模块（scSE），将网络聚焦在需要注意的像素上。SADNet在果园数据集上的性能优于DeepLabv3、PSPNet和R2U-Net。像素精度和并集的平均交集分别达到93.61 %和88.28 %。在公共数据集Pascal VOC 2012上，SADNet的MIoU达到了86.2 %。然后，基于果园分割的结果，提出了一种构建果园光栅图的新方法。在此基础上，我们对果园的行内路径和行间路径进行了规划。规划路径距离最优路径的均方根误差最小，为3.19 m。基于无人机图像的果园分割和路径规划方法可以同时规划整个果园的路径，并可以帮助农业机器人进行农药喷洒和水果收获。

A Deep-Learning Extraction Method for Orchard Visual Navigation Lines

摘要： 果园机械自主导航有助于提高水果生产效率，降低劳动力成本。路径规划是果园机械自主导航的核心技术之一。果树通常笔直和平行种植，果树是自然地标，可以为果园智能机械提供合适的线索。本文提出了一种基于计算机视觉技术实现路径规划的新方法。我们结合深度学习和最小二乘（DL-LS）算法，提出了一种新的果园场景导航线提取算法。首先，收集并处理了大量的实际果园图像，以训练YOLO V3模型。经过训练后，该模型对树干和树的检测的平均平均精度（MAP）可达到92.11%。其次，利用树干边界箱的坐标计算果树的参考点坐标。第三，用最小二乘法拟合两侧果树的参考线，用两条参考线确定果园机械的导航线。实验结果表明，训练后的YOLO V3网络能够准确地识别树干和果树，并且能够有效地提取出新的果树行导航线。果园中心线提取的准确率为90.00%。

Proposing UGV and UAV Systems for 3D Mapping of Orchard Environments

摘要： 在过去的几十年里，消费级RGB-D（红绿色蓝深）相机在农业环境中得到了广泛的应用。有趣的是，这些相机被用于空间映射，可以用于机器人的定位和导航。由于这些环境的高空间和时间变异性、可能的不利光照条件和不可预测的性质，绘制在农业领域中的目标机器人应用的环境是一项特别具有挑战性的任务。本研究的目的是研究使用RGB-D照相机和无人地面车辆（UGV）自动绘制商业果园的环境，并提供有关树高和冠层体积的信息。将地面测绘系统的结果与无人机（UAV）获得的三维（3D）正交坐标图进行了比较。总的来说，两种传感方法都导致了相似的高度测量，而RGB-D摄像机计算出树的体积更准确，因为地面系统捕获的三维点云要详细得多。最后，两个数据集的融合提供了最精确的树的表示。

2023

基于单线激光的果园机器人自主导航方法

摘要： 以四轮差速机器人作为试验平台，提出一种基于单线激光雷达获取环境信息的方法，研究机器人在树行中心线的导航性能以及机器人到达行尾进行自主换行的能力． 首先，由单线激光雷达获取环境信息，利用距离阈值法、自适应密度聚类算法、改进的最小二乘法等算法处理激光数据，得到树行中心线作为机器人理论导航路径，以机器人与导航路径的横向偏移量、航向偏角和线速度作为输入量来设计控制模型实时跟踪导航路径，到达行尾时能够自主感知并执行掉头转弯至下一行动作; 行间自主导航试验中，机器人线速度分别为 0． 2、0． 4 和 0． 6 m /s，且机器人初始位置横向偏移量不大于 0． 8 m、航向偏角不大于 15°时，导航轨迹与树行中心线的平均横向偏差为 3． 69cm，最大横向偏差为 11 cm; 在自主换行测试中，机器人能够准确进行掉头转弯到下一行，然后继续进行行间导航． 果园自主导航系统具有良好的运行稳定性和较高的导航精度，能够满足果园作业机器人的自主行驶精度要求。

基于激光雷达的林果园移动机器人自主导航方法研究[M]

摘要：农业机器人是机器人领域重要分支，农业机器人代替人工作业成为现代农业发展的重要趋势，林果园机器人可以减少劳动力投入、提高劳动生产率与产品质量、降低从业人员健康安全风险。自主导航技术是农业移动机器人研究的重要内容，对我国农业机械智能化、农业生产精细化有着重大的促进作用。为提高林果园移动机器人的智能化与自主化，本文对林果园环境下移动机器人路径规划与自主导航方法进行研究，设计了基于局部域主成分分析（Principal component analysis，PCA）的路径规划算法以及基于激光雷
达三维点云的林果园行间高低频双源信息融合实时导航方法。主要研究内容如下：

（1）针对林果园作业环境设计移动机器人整体技术方案，选用北斗组合导航系统和三维激光雷达采集机器人自身位姿信息与周围环境信息；设计机器人自主导航硬件系统，完成实验平台组织搭建；设计基于 ROS 系统的机器人自主导航软件系统，实现林果园环形全局路径规划与自主导航。
（2）针对林果园环境中传统路径搜索算法存在搜索时间较长、搜索效率较低等问题，提出一种基于局部域 PCA 的林果园路径规划方法。在林果园全局几何特征地图中，通过对当前节点局部域内的环境信息进行采样，选取自由区域采样点进行主成分分析，将自由区域延伸方向作为新节点生长方向，通过相邻两节点的生长方向角度差变换生长步长，从而生成新节点。最后在模拟地图与真实林果园环境中验证路径规划算法的有效性与快速性，实验表明，相较于传统路径规划算法 A算法与双向 RRT算法，本章算法路径节点数量下降 50%以上，搜索速度快，搜索效率高，满足林果园全局路径搜索需求。
（3）为提高林果园移动机器人导航系统的精确性与鲁棒性，提出一种基于激光雷达三维点云的林果园行间高低频双源信息融合实时导航方法。对三维点云数据进行直通滤波、降采样和离群点去除等预处理，减少无关点云干扰，分别基于高频更新的牛顿插值算法和低频更新的非线性支持向量机算法拟合的行间导航线进行互补融合，并对融合后导航线进行稳定性优化。最后，以喷雾机器人为实验平台测试融合后导航线的曲率平滑度与跟踪精度，实验表明，融合优化后导航线平均曲率为 0.018m-1，较插值导航线平均曲率下降了 54%，较 NSVM 导航线平均曲率下降了 55%，更有利于机器人轨迹跟踪，满足林果园行间自主导航需求。

复杂背景下果园视觉导航路径提取算法

摘要： 为解决果园视觉导航机器人行间自主行进和调头问题，提出了基于 Ｍａｓｋ Ｒ ＣＮＮ 的导航线提取方法和基于随机采样一致性（Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ， ＲＡＮＳＡＣ）算法的树行线提取方法。 首先，基于 Ｍａｓｋ Ｒ ＣＮＮ 模型对道路与树干进行识别，提取道路分割掩码和树干边界框坐标；其次，在生成行间导航线的基础上，采用改进 ＲＡＮＳＡＣ算法提取前排树行线；然后，计算树干边界框坐标点到前排行线的距离，筛选后排树干坐标点，采用最小二乘法拟合生成后排树行线；最后，通过分析前后排树行信息判断调头方向，结合本文提出的行末端距离计算与调头路径规划方法，规划车辆的调头路线。 实验结果表明：在不同光照、杂草、天气环境下的 ６ 种果园场景中，模型的平均分割精度和边界框检测精度都为 ９７. ０％ ，导航目标点提取的平均偏差不超过 ５. ３％ ，树行线检测准确率不低于 ８７％ ，调头后车辆距道路中心的平均偏差为 ７. ８ ｃｍ，可为果园环境下的视觉自主导航提供有效参考。

Row Detection BASED Navigation and Guidance for Agricultural Robots and Autonomous Vehicles in Row-Crop Fields: Methods and Applications

摘要： 作物行检测是农业机器人和自动驾驶车辆的导航、导航、路径规划和自动农业的基础和关键技术之一。然而，由于农业环境的复杂和动态，作物行检测仍然是一项具有挑战性的任务。周围的背景，如杂草、树木和石头，会干扰作物的外观，增加检测的难度。作物行的检测精度也受到不同生长阶段、环境条件、曲线和遮挡的影响。因此，需要适当的传感器和多种适应性模型来实现高精度的作物行检测。本文综述了农业机械导航中作物行检测的方法和应用。特别注意用于作物行检测的传感器和系统，以提高其感知和检测能力。讨论和总结了当前主流作物行检测方法，包括各种传统方法和深度学习框架的优缺点。此外，还报告了不同作物行检测任务的应用，包括灌溉、收获、除草和喷洒，在不同的农业场景中，如旱地、稻田、果园和温室。

A Deep Learning Driven Algorithmic Pipeline for Autonomous Navigation in Row-Based Crops

摘要： 昂贵的传感器和低效的算法管道显著地影响了自主机器的总体成本。然而，负担得起的机器人解决方案对于实际使用至关重要，它们的财务影响构成了在大多数应用领域使用服务机器人的基本要求。其中，精准农业领域的研究人员努力设计健壮和成本效益高的自主平台，以提供真正的大规模竞争的解决方案。在本文中，我们提出了一个完整的行基作物自主导航算法管道，专门设计来应对低量程传感器和季节变化。首先，我们建立了一个健壮的数据驱动的方法，为自主机器生成一个可行的路径，仅用该领域的占用网格地图信息覆盖作物的全部扩展。昂贵的传感器和低效的算法管道显著地影响了自主机器的总体成本。然而，负担得起的机器人解决方案对于实际使用至关重要，它们的财务影响构成了在大多数应用领域使用服务机器人的基本要求。其中，精准农业领域的研究人员努力设计健壮和成本效益高的自主平台，以提供真正的大规模竞争的解决方案。在本文中，我们提出了一个完整的行基作物自主导航算法管道，专门设计来应对低量程传感器和季节变化。首先，我们建立了一个健壮的数据驱动的方法，为自主机器生成一个可行的路径，仅用该领域的占用网格地图信息覆盖作物的全部扩展。

A Map-Free LiDAR-Based System for Autonomous Navigation in Vineyards

code: https://github.com/airlab-polimi/mflb-vineyard-navigation
摘要： 农业机器人有潜力通过执行重复性和耗时的任务来提高产量和降低成本。然而，为了使机器人有效，它们必须能够在没有人工干预的情况下在田野或果园中自主导航。在本文中，我们介绍了一种利用激光雷达和车轮编码器传感器的导航系统，在行结构的农业环境中进行行、转和端行导航，如葡萄园。我们的方法利用了以平行行排列的植物的简单和精确的几何结构。我们在模拟和真实环境中测试了我们的系统，结果证明了我们的方法在实现精确和鲁棒导航方面的有效性。导航系统在模拟和真实环境下行导航中心线的平均位移误差分别为0.049 m和0.372 m。此外，我们开发了一个端行点检测，允许在葡萄园中进行端行导航，这是大多数工作经常忽略的任务。