果实可采摘点论文汇总

2016

Vision-based extraction of spatial information in grape clusters for harvesting robots

摘要：在收获葡萄簇时，葡萄很可能发生碰撞并被操作破坏。为了进行无损的机器人采集，本文主要定位葡萄簇梗上切割点的空间坐标，并确定机械器的葡萄簇的边界体积。提出了一种基于双目立体视觉的葡萄簇空间信息获取方法。该方法包括四个步骤： (1)对双目摄像机进行校准和对图像进行校正，(2)检测葡萄花梗和中心的切割点，(3)提取步骤2中检测到的点的三维空间坐标，(4)计算葡萄簇的边界体积。在葡萄园中共采集了300张图像，并验证了切割点检测的方法，成功率约为87%。切割点的定位是在室外条件下确定的精度，在Z方向和X方向上的精度分别为12 mm和9 mm。将获得的葡萄簇边界体积与人工测量进行比较，高度和最大直径误差分别小于17 mm和19 mm。整个算法的运行时间均小于0.7 s。该方法的性能表明，该方法可用于采集机器人。

基于双目立体视觉的葡萄采摘防碰空间包围体求解与定位(农业工程学报)

摘要： 无损收获是采摘机器人的研究难点之一，葡萄采摘过程中容易因机械碰撞而损伤果实，为便于机器人规划出免碰撞路径，提出一种基于双目立体视觉的葡萄包围体求解与定位方法。首先通过图像分割获得葡萄图像质心及其外接矩形，确定果梗感兴趣区域并在该区域内进行霍夫直线检测，通过寻找与质心距离最小的直线来定位果梗上的采摘点，运用圆检测法获取外接矩形区域内果粒的圆心和半径。然后运用归一化互相关的立体匹配法求解采摘点和果粒圆心的视差，利用三角测量原理求出各点的空间坐标。最后以采摘点的空间坐标为原点构建葡萄空间坐标系，求解葡萄最大截面，再将该截面绕中心轴旋转 360°得到葡萄空间包围体。试验结果表明：当深度距离在 1 000 mm 以内时，葡萄空间包围体定位误差小于 5 mm，高度误差小于 4.95%，最大直径误差小于 5.64%，算法时间消耗小于 0.69 s。该研究为葡萄采摘机器人的防损采摘提供一种自动定位方法。

2018

The recognition of litchi clusters and the calculation of picking point in a nocturnal natural environment

摘要： 在自然环境中，成熟荔枝的识别和采摘点的计算一直是采摘机器人面临的难题。本研究建立了荔枝图像采集视觉系统，提出了荔枝夜间识别方法和采摘点计算方法。为了进行比较，在自然环境和夜间使用人工光照捕获同一窝幼崽的图像。通过对同一荔枝图像在不同颜色模型下的颜色特征进行分析，证明了YIQ颜色模型是荔枝夜间识别中实用性最佳的模型。在该方法中，首先使用改进的模糊聚类方法（FCM）去除夜间图像的背景，而不是荔枝果和茎。然后使用Otsu算法从茎基部中分割出果实。哈里斯角用于拾取点检测。分析了角点之间的水平和垂直位置的变化率，以确定拾选点。实验结果表明，荔枝的夜间识别准确率为93.75%，平均识别时间为0.516 s。在不同的深度距离下，拾取点计算的精度最高为97.5%，最低为87.5%。结果表明，该方法在夜间荔枝识别和采摘点计算的准确性和可行性。本研究为荔枝采摘机器人的视觉定位技术提供了技术支持。

Green Grape Detection and Picking-Point Calculation in a Night-Time Natural Environment Using a Charge-Coupled Device (CCD) Vision Sensor with Artificial Illumination

摘要： 夜间采摘水果的技术对采摘机器人很重要。提出了一种夜间检测和采摘点定位的方法，解决了人工照明系统夜间绿葡萄检测和采摘的难题。以具有代表性的百年核绿葡萄为研究对象，通过定制的视觉系统拍摄白天和夜间的葡萄图像。检测步骤如下：(1)RGB（红、绿、蓝）。通过对白天自然光和夜间人工光照下葡萄图像的颜色特征的分析，确定了夜间绿葡萄检测的颜色模型。旋转RGB颜色模型的R分量，对图像分辨率进行压缩；(2)采用改进的Chan-Vese（C-V）水平集模型和形态学处理方法去除图像背景，剔除葡萄果；(3)根据葡萄垂直悬浮液的特点，结合果实最小边界矩形的原理和霍夫直线检测方法，对果茎进行直线拟合，采用拟合线和垂直线角度小于15◦的茎计算采摘点。目测实验结果表明，葡萄果检测的准确率为91.67%，平均运行时间为0.46 s。拾取点计算实验结果表明，拾取点计算的精度最高，为92.5%，最低，为80%。研究结果表明，所提出的夜间绿葡萄检测和采葡萄点计算方法可以为采葡萄机器人提供技术支持。

2019

基于Mask R-CNN的芒果实例分割及采摘点检测研究与实现

摘要：智能化农业的目标就是用机器取代人从而解放生产力,通过提高生产效率和降低劳动力成本,解决传统农业的弊端。可靠、准确的多类分割是高级机器人感知任务的关键组成部分。在农业机器人的背景下,图像分割算法使机器人能够理解环境、采摘作物、监测作物健康状况、产量估测,是机器人取代人力完成任务的前提和基础。针对实际果园场景下芒果分割和采摘过程中存在的遮挡、重叠、小目标等问题,本文研究了基于改进FCIS的芒果实例分割算法、基于改进Mask R-CNN的芒果实例分割算法,以及基于Mask R-CNN关键点检测的芒果采摘点检测算法。最后为了将研究落地,设计和开发了芒果实例分割及采摘点检测系统,实现了便携笔记本上的芒果实例分割及采摘点检测任务。本文主要研究内容和创新如下:(1)数据集及模型评价指标。数据是深度学习算法的基础,而且数据的好坏直接影响了训练得到的模型性能。数据的多样性使训练的模型可以应对更多的情况,鲁棒性更强。本文芒果数据采集于自然果园场景,涵盖了实际采摘过程中可能遇到的问题,如光线变化、背景干扰,特别是果实遮挡、重叠及小目标。另外人工对采集整理后的数据进行了图像增强和扩增,如改变图像的对比度、亮度、色度与锐度等。为了更准确的区分不同尺寸目标,本文按像素面积将芒果划分为大、中、小三个等级。使用Labelme工具对芒果进行人工标注,得到训练集、验证集以及测试集的JSON文件。本文采用COCO数据集的评价指标衡量模型性能,并分析了评价指标的全面性和准确性。(2)基于改进FCIS的芒果实例分割算法研究。FCIS是基于位置敏感分数图(score map)的实例分割算法。FCIS未针对每个ROI添加全连接层或卷积层进一步提取特征,而是直接通过位置敏感图分出前景与背景以及类别信息。本文引入PSROIAlign,使得ROI池化到位置敏感分数图上的位置更加精准,最后分割结果也更精确。在主干卷积引入特征金字塔结构(FPN),通过在不同尺寸特征图上生成ROI,实现对不同尺寸芒果个体的有效分割。为了进一步实现轻量化的目标,将基础卷积的Res50替换为Mobile Net V2结构,实现了模型的大幅压缩和提速。最终模型的AP达到70.10%,大小只有47.00M。(3)基于改进Mask R-CNN的芒果实例分割算法研究。Mask R-CNN算法是在Faster R-CNN的基础上通过增添一条FCN分支实现实例分割。本文为了进一步增强底层特征与高层特征的融合,在FPN的基础上搭建FPN-BU结构,大大缩短低层特征图与高层特征图的融合路径,实验结果证明FPN-BU结构带来分割精度的提升。为了进一步提高重叠果实的分割精度,用Soft-NMS代替NMS,避免对重叠锚点框的误删,增强了模型在果实重叠情况下的分割性能。为了进一步提高FCN掩码预测分支的特征提取能力和加强梯度的反向传播,将原本4层普通卷积替换为残差结构,带来了最终分割精度的提升并使网络易于训练。三种改进都带来了精度上不同的提升,最后AP达到了83.00%。在重叠、遮挡数据集上的效果也证明了改进策略的有效性。对比实验还体现了改进Mask R-CNN分割精度上的领先优势。(4)基于Mask R-CNN的芒果采摘点检测。传统方法定位水果采摘点需要复杂的步骤和人工干预,而且最终检测精度不高,鲁棒性差。在研究了深度学习关键点检测算法架构后,本文基于Mask R-CNN的人体关键点检测算法,设计了芒果采摘点的自动检测方法。模仿人体关键点在芒果及果梗选取三个关键点(P1、P2、P3),其中P1是真正的采摘点。将标注数据送入Mask R-CNN算法进行训练来预测关键点掩码,最终实现芒果采摘点的自动检测。针对297个标注采摘点的检测准确率达到92.90%,召回率达到96.97%。并且还与传统采摘点检测方法进行了对比实验,准确率占据优势,却没有传统方法复杂的步骤。(5)芒果实例分割及采摘点检测系统设计与实现。本文利用高性能便携笔记本、海康威视半球网络摄像机、海康威视硬盘录像机等硬件设备,通过Pycharm、Microsoft Visual Studio 2013等软件,将训练好的模型进行封装,设计了基于Windows下的芒果实例分割及采摘点检测系统。系统由数据获取、数据解码及预处理模块、模型选择及调用模块、自动分割及检测模块、结果显示模块五部分组成,实现了芒果目标的自动分割、采摘点定位、产量估测与计数等功能。

Research on the Location of Citrus Picking Point Based on Structured Light Camera

摘要：柑橘采摘机器人还没有在全球范围内被商业化。基于柑橘果实和果实茎生长的特殊性，提出了一种基于结构光摄像机的柑橘采摘点定位方法。首先，通过颜色空间转换、阈值分割、分水岭算法、开闭操作和椭圆拟合等方法提取柑橘的轮廓。在识别出柑橘后，粘着的柑橘被腐蚀和组合，从而使连接的柑橘区域拟合成一个大的椭圆。然后，通过提取仿射矩形、被限定的圆等区域，得到拾取目标区域和拾取像素。最后，利用结构化光摄像机提取深度信息，得到三维拾取坐标点。实验结果表明，该方法在自然条件下能有效地识别成熟柑橘，采摘点的准确率在80%以上。

2020

Recognition and Localization Methods for Vision-Based Fruit Picking Robots: A Review

摘要： 机器视觉及其相关算法的利用提高了在复杂的农业环境中收获机器人的效率、功能、智能和远程交互性。机器视觉及其相关的新兴技术有望在先进的农业应用中具有巨大的潜力。然而，机器视觉及其精确定位仍然存在许多技术上的困难，使得大多数收获机器人难以实现真正的商业应用。本文介绍了收获机器人和视觉技术在水果采摘中的应用和研究进展。重点研究了视觉和定量的定位、目标识别、三维重建、容错等方法的潜在应用，并探讨了用于机器视觉和机器人系统的容错技术。综述了水果识别和定位的两种主要方法，包括数字图像处理技术和基于深度学习的算法。确定了识别和定位成功率所带来的未来挑战：光照变化和遮挡环境下的目标识别；动态干扰环境下的目标跟踪、三维目标重建和农业机器人视觉系统的容错能力。最后，介绍了水果收获机器人识别和定位应用的几个开放研究问题，并介绍了机器视觉的最新发展和未来的发展趋势。

Real-Time Visual Localization of the Picking Points for a Ridge-Planting Strawberry Harvesting Robot

摘要：目前，阻碍草莓收获机器人使用的主要技术障碍是低收获率，需要提高定位算法的准确性和实时性能来检测草莓茎上的采摘点。对水果目标的姿态估计（水果轴的方向）可以提高定位算法的精度。本研究提出了一种新型的脊草莓收获机器人和一种水果姿态估计器旋转YOLO（R-YOLO），显著提高了采摘点的定位精度。首先，使用轻量级网络Mobilenet-V1代替卷积神经网络作为特征提取的骨干网络。简化的网络结构大大提高了运行速度。其次，利用旋转角度参数α对训练集进行标记，设置锚点；利用旋转锚点进行逻辑回归，预测目标果实的边界盒的旋转情况。对100张草莓图像的测试结果显示，该模型的平均识别率为94.43%，召回率率为93.46%。在机器人的嵌入式控制器上进行每秒18帧（FPS）处理，显示了良好的实时性能。与其他几种水果采集机器人的目标检测方法相比，该模型在采摘点的实时检测和定位精度方面表现出较好的性能。田间试验结果表明，改良条件下的采收成功率达到84.35%。本研究结果为提高收获机器人嵌入式控制器的目标检测提供了技术支持。

A visual detection method for nighttime litchi fruits and fruiting stems（Computers and Electronics in Agriculture）

摘要： 在自然环境中准确检测荔枝果实和果实茎，是荔枝采摘机器人精密操作的重要步骤。目前，荔枝在自然环境中的果实和果茎的视觉检测算法仍受到精度和鲁棒性较差的限制。提出了一种夜间环境下检测荔枝果茎的方法。本文基于YOLOv3对夜间自然环境下的荔枝果实进行检测，然后根据荔枝果实的边界框确定荔枝果实茎的感兴趣区域（RoI）。最后利用U-Net对果实茎进行逐个分段，实现对夜间荔枝果实和果实茎的检测。此外，我们还设计了一个实验来评价不同光照和不同簇数下夜间荔枝果实和果实茎的检测效果。实验结果表明，在高亮度、正常亮度和低亮度条件下，荔枝果实检测模型的平均精度（AP）分别为96.78%、99.57%和89.30%。相应地，果实茎分割模型的平均交点（MIoU）分别为79.00%、84.33%和78.60%。此外，荔枝果实检测模型对单簇荔枝果实和多聚类荔枝果实的AP分别为100%和96.52%。因此，基于深度学习的夜间荔枝果实和果实茎检测方法在夜间自然环境和多种条件下具有较高的精度和鲁棒性，为荔枝采摘机器人的实际应用提供了技术支持。

葡萄采摘机器人采摘点的视觉定位

摘要： 针对葡萄采摘机器人在自然环境下采摘点定位困难的问题，本研究提出了一种基于分水岭果梗图像分割和最小角度约束的采摘点定位方法。第一，将采集的葡萄果实图像变换到 YUV 颜色模型，对 U 通道灰度图进行均衡化处理，然后进行双阈值分割和形态学开操作去掉干扰区域，再对二值图像进行填充; 第二，以检测到的葡萄果实位置为参考，确定葡萄串果梗感兴趣区域，对该感兴趣区域进行分水岭操作; 第三，对果梗二值图像进行角点检测，然后分别对每个果梗检测到的角点数据进行线性回归，将拟合到的直线分别与垂直于地面直线进行角度计算，将夹角角度最小的拟合直线所在的果梗确定为葡萄串所连的果梗; 第四，对该果梗检测到的角点数据进行 K 均值聚类分析，聚类中心为最佳采摘点。对采集于晴天顺光、晴天逆光和晴天遮阳这 3 种条件下各 40 幅夏黑葡萄图像进行验证，采摘点定位成功率为 89. 2%，单张葡萄图像的采摘点平均定位时间为 0. 65 s。说明该方法可以为葡萄采摘机器人提供准确的采摘点坐标信息。

2021

A mango picking vision algorithm on instance segmentation and key point detection from RGB images in an open orchard

摘要： 水果采摘机器人的视觉系统必须执行两个困难的任务：精确的水果像素级实例分割和正确的采摘点检测。由于视觉系统在这些任务上的性能不理想，机器人的拾取性能不足，其应用也不普遍。本研究通过水果实例分割和采摘点定位，在深度学习框架中设计了一种基于RGB图像的视觉算法，用于一个潜在的芒果采摘机器人视觉系统。该算法不仅成功地完成了这两个任务，而且还将它们集成到一个端到端网络中，其中并行分支同时执行这两个任务。实例分割的平均精度（IoU为0.75）和平均查全率分别为0.947和0.929，挑选点检测的最佳精度和查全率分别为0.984和0.908。此外，室外果园的任务面临各种光照和背景干扰，以及遮挡、重叠和物体尺度等复杂问题。本研究在各种复杂条件下的多个数据集和子集上详细分析了视觉系统的性能，并讨论了影响性能的主要因素。结果表明，该系统在不同光照和复杂背景下具有较强的鲁棒性，对小、中等遮挡或重叠、中等、大芒果具有较好的分割和拾点检测性能。模型可视化和模型训练的影响分析证明了深度学习网络的训练过程和建模效果。

A method for litchi picking points calculation in natural environment based on main fruit bearing branch detection（Computers and Electronics in Agriculture）

摘要： 采摘点的准确识别是荔枝采摘机器人智能运行的关键。要采摘水果，机器人必须首先检测采摘点的位置。为了更准确地定位采摘点的定位，本文提出了一种基于荔枝主果枝（MFBB）检测的采摘点定位方法。在自然环境中，荔枝的MFBB值与非MFBB值相似，因此很容易得到不正确的MFBB视觉检测结果，从而导致机器人的拾取失败。为了在自然环境中快速、准确地鉴定荔枝的MFBB，本文提出了一种基于YOLACT的荔枝的MFBB检测方法。首先，将荔枝水果和MFBB连接为一个荔枝聚类标签，建立荔枝聚类和MFBB的数据集，使YOLACT模型可以从数据集中学习水果和MFBB之间的连接关系。然后，基于荔枝集群的检测结果和MFBB分割面具模型，水果和MFBB之间的像素宽度差异分段荔枝集群面具的部分属于MFBB，获得更完整的MFBB和提高MFBB的召回率。最后，以MFBB掩模的中点为拾取点，通过骨架提取和最小二乘拟合方法确定MFBB的角度，为机器人的拾取姿态提供参考。实验结果表明，该方法计算出的选取点精度为89.7%，F1评分为83.8%，单幅图像的平均运行时间为0.154 s。说明该方法对荔枝采摘点具有较好的检测性能，可为荔枝采摘机器人的视觉识别提供技术支持。

基于深度学习的葡萄果梗识别与最优采摘定位(农 业 工 程 学 报)

摘要： 针对葡萄采摘机器人在采摘作业中受果园环境干扰，难以准确识别与分割葡萄果梗及定位采摘点的问题，该研究根据葡萄生长的特点提出一种基于深度学习的葡萄果梗识别与最优采摘定位方法。首先通过改进掩膜区域卷积神经网络（Mask Region with Convolutional Neural Network，Mask R-CNN）模型对果梗进行识别与粗分割；然后结合阈值分割思想对果梗的色调、饱和度、亮度（Hue Saturation Value，HSV）色彩空间进行分段式提取，取每段色彩平均值作为该段果梗基准颜色阈值，利用区域生长算法对果梗进行精细化分割；最后计算果梗图像区域的质心，并以临质心点最近的果梗水平两侧中心作为最终采摘点。试验结果表明，在不同天气光照下该方法对葡萄果梗的检测精确率平均值为 88%；在果梗成功识别后最优采摘点定位准确率达 99.43%，单幅图像的果梗采摘定位平均耗时为 4.90 s，对比改进前 Mask R-CNN 检测耗时减少了 0.99 s，F1-得分提高了 3.24%，检测效率明显提升，该研究为葡萄采摘机器人提供了一种采摘点定位方法。

2022

基于深度学习的多品种鲜食葡萄采摘点定位

摘要：鲜食葡萄品种多样，具有不同的形状和颜色。针对葡萄采摘机器人采摘不同品种鲜食葡萄时采摘点定位精度降低的问题，提出一种基于深度学习的多品种鲜食葡萄采摘方法。首先利用PSPNet(MobileNetv2)语义分割模型分割葡萄图像，在葡萄上方设置一个兴趣区域，在兴趣区域内使用自适应阈值果梗方向Canny边缘检测提取果梗边缘信息，然后采用霍夫变换检测果梗边缘上的直线段并进行直线拟合。最后将拟合的直线与兴趣区域的水平对称轴的交点作为采摘点。对晴天顺光、晴天逆光、晴天遮阴3种光照条件下的克瑞森、阳光玫瑰、红提和黑金手指4个品种的360幅葡萄图像进行采摘点定位试验。结果显示，采摘点定位准确率为91.94%,定位时间为187.47 ms,在模拟试验中采摘成功率为85.5%。

Method for Identifying Litchi Picking Position Based on YOLOv5 and PSPNet

摘要：中国是世界上荔枝产量最大的国家。但目前，荔枝以人工采摘为主，水果农户劳动强度高，生产效率低。这意味着智能无人采摘系统具有广阔的应用前景。荔枝主采干点的精确位置对无人系统的路径规划非常重要。一些研究人员已经鉴定了荔枝的果实和枝条，但对荔枝主要茎采摘点位置的研究相对较少。因此，本文提出了一种新的开放获取的工作流程，用于检测主茎上的准确采摘位置，并提出了在案例研究中使用的数据。同时，本文还比较了几种不同的主干检测和分割网络架构，并分别选择YOLOv5和PSPNet作为最有前途的主干检测和分割任务的模型。该工作流程结合深度学习和传统图像处理算法，计算荔枝图像中的准确定位信息。本工作流程以YOLOv5为目标检测模型，检测荔枝图像中的荔枝干，然后提取荔枝干的检测感兴趣区域（ROI），利用PSPNet语义分割模型对主干的ROI图像进行语义分割，对主干的ROI图像进行图像后处理，得到主干ROI图像中拾取点的像素坐标。经过坐标转换后，得到原荔枝图像的主茎拾取点的像素坐标，并在荔枝图像上绘制出拾取点。目前，该工作流程可以获得荔枝图像中主茎采摘点的准确位置信息。该方法的召回率和精度分别为76.29%和92.50%，这为后续工作提供基础的三维坐标根据图像深度信息，尽管我们在本文没有做这项工作。

Fast Location of Table Grapes Picking Point Based on Infrared Tube

摘要：本研究探讨了葡萄采摘机械化水平较低，以及葡萄采摘点在三维空间中定位困难的问题。提出了一种基于红外管快速定位餐桌葡萄采摘点的方法。首先，利用Otsu算法和最大连接域获取目标葡萄的图像，实现了在二维空间中对目标葡萄的快速识别和分割。其次，设计了一种基于红外管的葡萄采摘点定位装置，解决了三维空间中采摘点定位困难的技术问题，实现了餐桌葡萄采摘点的准确定位。实验结果表明，该方法能在三维空间中快速、准确地定位餐桌葡萄的采摘点。该算法的平均运行时间为0.61 s，位置识别的成功率为90.0%。为机械化采摘提供了一种可行的方案。

A Study on Long-Close Distance Coordination Control Strategy for Litchi Picking

摘要：对于机器人自动采摘串种类型的水果，策略是大致确定串种的位置，从一个遥远的位置计划采摘路线，然后将采摘点精确地定位在一个更合适、更近的位置。后者可以减少需要处理的信息量，获得更精确、更详细的特征，从而提高视觉系统的准确性。本研究利用一种基于英特尔遥感D435i相机和该相机收集的点云图，提出了一种荔枝采摘机器人的长近距离协调控制策略。利用YOLOv5目标检测网络和DBSCAN点云聚类方法，确定长距离串果实的位置，然后推导出采摘顺序。到达近距离位置后，采用Mask RCNN实例分割方法对视场中更明显的分叉茎进行分割。通过对分割掩模的处理，提出了一种“点+线”双参考模型，该线由机械臂引导采摘。与现有的研究相比，该策略考虑到了深度相机的优缺点。通过对完整过程的试验，长距离密度聚类方法能够在较近距离对不同束进行分类，而果实枝定位的成功率为88.46%。这是一项探索性的工作，为未来的水果采摘机器人的研究提供了理论和技术参考。

Detection method for table grape ears and stems based on a far-close-range combined vision system and hand-eye-coordinated picking test

摘要： 为了提高餐桌葡萄在自动采食过程中的采食成功率，准确定位葡萄穗的采食点和葡萄茎的切削点具有重要意义。本研究构建了一套近距离立体视觉系统的葡萄耳和葡萄茎检测系统。首先，提出了葡萄耳质心的识别算法。对远距离葡萄的识别和特征提取进行了一系列的图像操作，包括中值滤波、阈值分割、形态学操作、可执行区域标记和目标质心的提取。其次，建立了葡萄茎切削点的计算模型。对近距离葡萄茎的感兴趣区域（ROI）进行边缘检测，并采用累积概率Hough变换。完成了近距离葡萄茎的直线检测和切割点定位。最后，基于LabVIEW软件，开发了采葡萄机器人的测控系统。实验验证，葡萄茎的识别和切割点的定位算法具有较高的可靠性，晴天成功率为92%，阳光背光成功率为82%，阴天成功率为86%。葡萄采摘测试表明，在给定的计算机配置下，葡萄采摘机器人可以在平均53.4 s的桌面时间内完成葡萄采摘任务。

An end-to-end lightweight model for grape and picking point simultaneous detection

摘要： 葡萄群及其拾取点检测（GCPPD）在葡萄自动收获的视觉任务中起着关键作用。近年来，在提高基于深度学习模型的GCPPD的准确性方面取得了很大的进展。然而，GCPPD仍然有很多问题。首先，葡萄聚类检测必然需要具有多个参数的复杂模型。其次，之前在拾取点检测方面的工作可以总结为使用预定义的手工制作特征的图像处理方法。这导致了所提出的算法缺乏鲁棒性。为了解决这个问题，我们探索了一种同时检测葡萄簇及其采摘点的方案。由于同步检测的优势，该模型被构建为一个端到端网络。因此，提出了一种称为YOLO-GP（YOLO-葡萄和采摘点）。具体来说，YOLO-GP利用一个幽灵瓶颈来减少模型参数。此外，该模型使用新的思想添加了对挑选点的预测，即挑选点遵循边界框。构建了用于模型训练的葡萄-pp（葡萄采摘点）数据集，其中包含360幅葡萄图像，包含4517个葡萄簇边界盒和采摘点。实验结果表明，YOLO-GP检测葡萄聚类的平均平均精度（mAP）为93.27%，重量参数的数量减少了至少10%。拾取点检测的距离误差小于40像素。综上所述，YOLO-GP实现了对葡萄簇及其采摘点的同时检测，其性能与基线模型相当。

Far-near combined positioning of picking-point based on depth data features for horizontal-trellis cultivated grape

摘要：对于机器人采集餐桌葡萄，通常通过抓持和切割梗，在梗上的准确定位是至关重要的。本文提出了一种基于远景和近景深度数据特征相结合的水平格子栽培葡萄采摘点精确定位的新方法。首先，提出了充分利用深度点云数据获得的葡萄群和水平格环境特征的采摘点定位远近组合策略。然后提出了满足远近组合需要的特殊“指下眼”结构，定义了决定远近组合手眼路径的远视点、近视点和选取点三个关键点。最后，基于近景深度数据直方图，建立了近景葡萄簇检测、近视点切换和采摘点定位的远近组合方法，以选择葡萄簇底部为关键线索。在近视图下挑选点定位的现场实验中，算法的平均运行时间为0.29 s，总共100个样本中只有5个未能实现准确定位。在远近组合采摘点定位的实验室实验中，采摘点精确定位的成功率达到100%。该方法有望克服传统图像处理方法中黑盒处理的不足。

论文的贡献：

• 与苹果、柑橘、猕猴桃等普通单一果相比，葡萄簇的大小要大几倍，花梗相对较短，这对视觉定位和可靠的握把和切割都是一个挑战。
• 由于大部分的树枝、藤蔓和叶子被堵塞在网格表面上，只有一小部分的叶尖漏进去，对花梗和簇的庇护所更少。此外，所有的叶尖都明显高于簇底。为耳茎的识别和定位提供了方便。
• 它具有相对结构化的特征。例如，所有的花梗和葡萄簇都具有相对垂直的姿态，网格表面、花梗和葡萄簇分布在不同的相对集中的高度区域。所有这些特性将为挑选点的视觉定位提供重要的信息。

Strawberry picking point localization ripeness and weight estimation

code: https://github.com/imanlab/strawberry-pp-w-r-dataset
摘要： 劳动力短缺、劳动力管理的困难、水果生产管道的数字化以降低水果生产成本，使得选择性收获草莓的机器人系统成为一项重要的行业和学术研究。这类技术尚未开发的重要组成部分之一是水果采摘感知。为了采摘草莓，机器人需要从草莓的图像中推断出采摘点的位置。此外，采摘的草莓的大小和重量可以帮助机器人将采摘的草莓放在适当的桶中，直接送到超市的顾客那里。这可以节省包装厂的大量时间和包装成本。基于几何的方法是确定拾取点最常见的方法，但由于噪声、遮挡和浆果形状和方向的变化，它们存在不准确。相比之下，我们提供了两个新的草莓数据集，分别标注了采摘点、关键点（如肩点、花萼和肉之间的接触点，以及离花萼最远的肉上的点），以及浆果的重量和大小。我们用探测器-2进行了实验，这是一个具有关键点检测能力的Mask-RCNN的扩展版本。结果表明，该关键点检测方法能很好地进行抓取点定位。第二个数据集还显示了草莓的尺寸和重量。我们的新的权值估计基线模型优于许多最先进的深度网络。

Clustered tomato detection and picking point location using machine learning‑aided image analysis for automatic robotic harvesting

摘要： 在非结构化的农业环境中，准确的果实检测和采摘点定位对机器人的自动采集具有重要意义。为了解决聚类果实选择性机械化采摘的机器视觉问题，本研究提出了一种基于聚类番茄形状和生长特性的目标识别和采摘点定位的新视觉算法。采摘点必须根据其相对于水果或水果簇的位置和姿势来确定。对番茄的形状、质地和颜色特征进行提取并结合，实现番茄的番茄识别。识别模型的精度、查全率和准确率均高达100%，识别时间均小于1s。在对番茄果区进行识别后，本研究进一步开发了一种两步采摘点定位算法。首先获取果实质心的坐标和半径，然后在霍夫圆检测的基础上绘制出整组果实的等高线。其次，采用空间对称样条插值法和几何分析法进行花梗估计、轮廓变换和拾点定位。实验结果表明，定位采摘点分布在分支上，位置偏差较小，满足一定定位精度范围内的要求。结果表明，该方法在复杂环境下能够获得良好的采摘点定位效果。

Adaptive Active Positioning of Camellia oleifera Fruit Picking Points: Classical Image Processing and YOLOv7 Fusion Algorithm

摘要： 茶树果实随机分布在果园中，果实很容易被叶子堵塞或覆盖。此外，叶子和果实的颜色是相似的，花和果实同时生长，呈现出许多歧义。巨大的冲击波会导致花朵落下，影响产量。因此，准确的定位成为机器人采摘的一个难题。因此，在复杂环境下研究茶树果实的目标识别和定位存在诸多困难。本文提出了一种基于视觉感知和图像处理的深度学习融合方法，自适应主动定位茶树的果实识别和采摘点。首先，为了适应野外复杂场景的目标分类和识别，对你只活一次v7（YOLOv7）模型的参数进行优化和选择，实现茶树果实的检测，确定果实识别框架的中心点。然后，利用图像处理和几何算法处理图像、分段、确定果实的形态，提取茶树果实轮廓的质心，然后分析其质心点和在YOLO识别框架中的中心点的位置偏差。通过多个实验验证了感知识别过程的前光、背光、部分遮挡等测试条件。结果表明，YOLOv7的精度接近于YOLOv5s，且YOLOv7的平均平均精度高于YOLOv5s。对于部分封闭的茶树果实，YOLOv7算法优于YOLOv5s算法，提高了茶树果实的检测精度。通过图像处理，可以完全提取出茶树果实的轮廓。图像提取的质心点与YOLO识别帧的中心点之间的平均位置偏差为2.86像素，因此，认为YOLO识别帧的中心点与图像提取的质心点近似一致。

2023

Autonomous Strawberry Picking Robotic System

摘要：草莓采摘方面的挑战使得选择性收获机器人技术要求非常高。然而，草莓的选择性收获是一项复杂的机器人任务，形成了一些科学研究问题。大多数可用的解决方案只处理特定的采摘场景，例如，只孤立地采摘单一种类的水果。尽管如此，最经济上可行的（例如高产和/或抗病）草莓品种都在密集的集群中生长。目前在这种用例中的感知技术是低效的。在这项工作中，我们开发了一个新的系统，能够收获草莓有几个独特的特点。这些特性允许系统处理非常复杂的挑选场景，例如密集的集群。我们的模块化系统的概念使我们的系统可重新配置，以适应不同的挑选场景。我们设计、制造并测试了一个具有2.5自由度的专利采摘头（两个独立的机制和一个依赖的切割系统），能够去除可能的遮挡，并在不接触果肉的情况下收获目标草莓，以避免损坏和擦伤。此外，我们开发了一种新的感知系统来定位草莓，检测它们的关键点，挑选点，并确定它们的成熟度。为此，我们引入了两个新的数据集。最后，我们在一个商业草莓种植场和我们的研究农场对三个不同的草莓品种进行了测试。实验结果表明，验证了该系统的有效性和可靠性。设计的采摘头能够有效地去除堵塞和收获草莓。该感知系统能够检测和确定草莓的成熟度，准确率为95%。总的来说，该系统能够收获87%的所有被检测到的草莓，所有可拔果实的成功率为83%。我们还将在讨论部分讨论一系列开放的研究问题。

Lightweight force-sensing tomato picking robotic arm with a “global-local” visual servo（Computers and Electronics in Agriculture）

摘要： 本文设计了一种带有“全局-局部”视觉伺服系统的轻量级力感应番茄采食机械臂，以解决在番茄自动采食操作中体积大、质量大、惯性大、成本高、控制复杂、安全保护差等问题。基于臂阻与关节电机电流的关系，建立了六自由度（DOF）机械手力传感系统，建立了一种确保工人和工厂在拾取操作中不会与机械手意外碰撞的机制。系统可以确定冲击力的大小和位置，如果这些值超过某个阈值，则立即停止移动。采用“全局-局部”视觉伺服系统来提高手臂末端的重复定位精度。建立了原型进行验证，结果表明，轻量机械手力传感系统估计冲击力的大小和位置的平均误差为7.6 %，全局-局部视觉伺服的平均重复定位误差为1.3 mm。与传统的插值轨迹规划算法相比，误差降低了57.4 %，满足了番茄自动采食操作的精度要求。在采摘过程中，机械臂可以采摘93 %的水果，具有良好的安全保护，满足高效、自动采摘水果和蔬菜的要求。

Optimization strategies of fruit detection to overcome the challenge of unstructured background in feld orchard environment: a review(Precision Agriculture)

摘要：由于世界粮食和环境危机的持续影响，对智能农业的需求正在增加。以水果检测为重点，随着目标检测技术的快速发展，现在可以在水果检测系统中实现高精度和高精度。然而，在非结构化的果园环境中，高精度地检测果实仍然特别具有挑战性。这种环境由不同的光照条件和遮挡程度组成，可以通过某些策略来缓解。据我们所知，这是第一次回顾了用于水果检测的优化策略。本文综述旨在探讨在复杂环境中改进水果检测的方法。首先，我们描述了在室外果园环境中常见的复杂背景类型。随后，我们将改进措施分为图像采样前后的优化两类。接下来，我们比较了应用这些改进方法前后的测试结果。最后，介绍了水果检测优化技术在复杂背景下的未来发展趋势。我们希望这篇综述将激励研究人员设计他们的优化策略，并帮助探索更低成本和更健壮的水果检测系统。

Fruit detection and positioning technology for a Camellia oleifera C. Abel orchard based on improved YOLOv4-tiny model and binocular stereo vision

摘要：在复杂的果园环境中，光照的变化、叶片的遮挡和果实的重叠使得移动采摘机器人检测和定位油籽茶花果实具有挑战性。为了解决这个问题，好开发作为水果检测模型方法基于YOLOv4-tiny模型，获得聚类结果适合茶树果实的大小，使用k均值++聚类算法而不是k均值聚类算法使用YOLOv4-tiny模型来确定边界盒先验。在YOLOv4-tinty模型的第二个和第三个CSPBlock模块之后，分别添加了两个1×1和3×3的卷积核。该模型可以学习茶树果实的特征信息，降低了整体计算复杂度。与经典的基于双目相机图像的立体匹配方法相比，该方法创新性地利用YOLO-Oleifera模型生成的边界框来提取水果的感兴趣区域，然后根据边界框的生成机制自适应地进行立体匹配。这允许确定差异，并便于后续使用三角剖分原理来确定水果的采摘位置。消融实验证明了yolov4-微型模型的有效改进。利用阳光和遮荫条件下的茶树果实图像对约-油菜模型进行了测试，该模型对不同光照条件下的果实进行了稳健的检测。由于语义信息的丢失，降低了精度和召回率。将该模型与深度学习模型YOLOv5-s、YOLOv3-tiny和YOLOv4-tiny模型进行比较，YOLO-Oleifera模型的AP最高，为0.9207，数据权重最小，为29 MB。YOLO-油菜素模型平均需要31 ms来检测每个水果图像，其速度足以满足实时检测的需求。尽管光照发生变化，该算法仍表现出较高的定位稳定性和鲁棒功能。本研究结果可为移动采摘机器人在复杂的果园环境中对茶树果实的稳健检测和定位提供技术参考。

Clustered tomato detection and picking point location using machine learning‑aided image analysis for automatic robotic harvesting（Precision Agriculture）

摘要： 在非结构化的农业环境中，准确的果实检测和采摘点定位对机器人的自动采集具有重要意义。为了解决聚类果实选择性机械化采摘的机器视觉问题，本研究提出了一种基于聚类番茄形状和生长特性的目标识别和采摘点定位视觉算法。采摘点必须根据其相对于水果或水果簇的位置和姿势来确定。对番茄的形状、质地和颜色特征进行提取并结合，实现番茄的番茄识别。识别模型的精度、查全率和准确率均高达100%，识别时间均小于1s。在对番茄果区进行识别后，本研究进一步开发了一种两步采摘点定位算法。首先获取果实质心的坐标和半径，然后在霍夫圆检测的基础上绘制出整组果实的等高线。其次，采用空间对称样条插值法和几何分析法进行花梗估计、轮廓变换和拾点定位。实验结果表明，定位采摘点分布在分支上，位置偏差较小，满足一定定位精度范围内的要求。结果表明，该方法在复杂环境下能够获得良好的采摘点定位效果。

Vibration analysis and experimental study of the effects of mechanised grape picking on the fruitestem system

摘要： 食用葡萄机械收获过程中的断裂和脱落问题尚未得到充分的研究。特别是，当茎被剪切时，由激发的振动引起的浆果的响应性和脱落。本文将模态分析和扫频分析相结合，研究了激发态葡萄系统的振荡响应和临界脱落特性。首先，基于脱落理论建立了动态葡萄主茎分裂茎-浆果平面双摆模型，并推导了浆果摆动的理论角速度。然后，通过一个简化的多浆果模型，精确地模拟了浆果的分离和脱落过程。模态分析结果表明，浆果在不同频率下表现出多向、多态的无序波动和旋转。最后，比较了模拟实验和采摘实验中浆果动态响应的加速度、速度、位移、应力和脱落频率等临界脱落参数。结果表明，模拟实验和采摘实验的动态响应趋势是一致的，当振幅为49.88 mm，频率约为4 Hz时，浆果值会下降。因此，本研究为优化拾取机制提供了理论参数。

基于改进K-means算法的鲜食葡萄采摘点自动定位方法（智慧农业）

摘要： 自然环境中鲜食葡萄的快速识别与精准定位是实现鲜食葡萄机器人自动采摘的先决条件。 ［方法］ 本研究基于改进的K-means聚类算法和轮廓分析法提出一种鲜食葡萄采摘点自动定位的方法。首先，采用 加权灰度阈值作为聚类算法相似度的判定依据，并以此为基础提出一种自适应调整K值的K-means聚类算法，实 现鲜食葡萄的快速有效识别检测；然后，利用提出的轮廓分析法获得果梗轴和采摘点感兴趣区域，利用几何方法 实现鲜食葡萄采摘点快速准确定位；最后，利用采集的 917张鲜食葡萄图像对本研究提出的算法进行实验验证。 ［结果和讨论］ 本研究提出算法定位的鲜食葡萄采摘点与最优采摘点的误差小于12个像素的成功率为90.51%，平 均定位时间为 0.87 s，实现鲜食葡萄采摘点的快速准确的定位。在篱壁式种植方式与棚架式种植方式下分别进行 50次模拟仿真试验，结果表明，篱壁式紫葡萄采摘点定位成功率为 86.00%，棚架式紫葡萄识别定位成功率达到 92.00%，篱壁式绿葡萄采摘点定位成功率为 78.00%，棚架式绿葡萄识别定位成功率为 80.00%，整体试验效果较 好。［结论］ 本研究可为鲜食葡萄采摘机器人实现精准采摘葡萄提供技术支撑。

采摘规划

2023

Coverage path planning for kiwifruit picking robots based on deep reinforcement learning（Computers and Electronics in Agriculture）

摘要：本文提出了一种基于深度强化学习的猕猴桃采摘机器人覆盖路径规划方法。与现有的方法相比，本文的新颖性有双重性。 1.利用激光雷达收集猕猴桃园的环境点云信息，构建二维网格图。在构建地图的过程中，实时收集水果坐标信息，并将水果坐标投影到网格图上，获得猕猴桃在果园环境中的分布情况。结合猕猴桃采摘机器人的有效采摘区域，提出了一种猕猴桃区域划分算法，该算法将传统的基于网格的覆盖路径规划转化为求解各区域遍历顺序的旅行销售员（TSP）问题。2.提出了一种改进的深度强化学习算法，即re-DQN算法来求解每个区域的遍历顺序。模型训练结果表明，该算法比传统的DQN算法更有效，完成了模型收敛到更好的解。猕猴桃果园导航的实验结果表明，本文所述方法的覆盖路径长度为220.67 m，比该算法短31.56 %。总导航时间为1200 s，比波波顿算法短35.72 %。结果表明，本文提出的覆盖路径规划方法可以有效地缩短猕猴桃果园的覆盖路径，提高猕猴桃采摘机器人的导航效率。

Recognition of citrus fruit and planning the robotic picking sequence in orchards

摘要：为了提高机器人在密集种植的复杂果园中采摘柑橘的操作效率，防止可能发生的碰撞损害，本研究提出了一种基于YOLOv5的柑橘识别和规划采摘序列的算法。首先，在YOLOv5中嵌入卷积块注意模块（CBAM），以提高网络的特征提取能力，减少对被遮挡目标和小目标的遗漏检测。同时，对边界损耗函数进行了优化，提高了边界盒的定位精度。这种组合模型用于识别和定位柑橘。然后建立柑橘果实三维模型，在蚁群算法的基础上引入自适应信息素浓度更新机制，动态判断柑橘的采摘顺序，确定最优采摘顺序。我们展示了我们的方法与以前的方法相比的定量和定性的结果。在试验中，该方法对密集种植环境中柑橘的f1分数为92.41%，比YOLOv5提高了2.81%。与随机规划相比，该方法可以提前在视场内对柑橘的采摘顺序进行规划，缩短采摘路径。此外，在其他果实上进行了广泛的序列规划实验，验证了该方法的优越性。因此，本文的方法可以为柑橘抗碰撞采摘和果园产量预测提供新的思路，为智能水果产业提供新的思路。