点击蓝字 关注我们
关注并星标
从此不迷路
计算机视觉研究院
公众号ID｜计算机视觉研究院
学习群｜扫码在主页获取加入方式
计算机视觉研究院专栏
Column of Computer Vision Institute
近年来，水果作物生产中的劳动力短缺已成为一个重大挑战。因此，机械化和自动化机器已成为劳动密集型果园作业（如收割、修剪和疏伐）的有前途的替代品。
00
粉丝福利活动
在文末有参加粉丝免费获取书籍的活动，有兴趣的关注者，请积极参加并帮忙分享转发，让更多的小伙伴加入计算机视觉研究院，一起讨论学术，共同进步！
01
简介
在水果作物生产中使用机械化和自动化机器已成为解决劳动力短缺的一个很有前途的解决方案，因为这些技术可以完成劳动密集型任务，如收割、修剪和间伐。农业机器人完成这些任务的关键方面之一是能够识别树干和树枝等树冠部分，并估计其几何和拓扑参数，如树枝直径、树枝长度和树枝角度。
在估计了目标作物负荷后，研究人员可以在自动修剪平台上工作，从而做出更有效的决策，以实现最佳作物产量。在这项研究中，提出了一个机器视觉系统来估计苹果园的这些冠层参数。然后，使用这些参数来估计商业果园中单个枝条可以结出的最佳果实数量，这为机器人修剪、疏花和无果疏花提供了基础，从而可以实现所需的果实产量和质量。利用RGB-D传感器（Microsoft Azure Kinect DK）收集的颜色和深度信息，开发了一种基于YOLOv8的实例分割技术来识别休眠季节的苹果树树干和树枝。然后，应用主成分分析技术来估计树枝直径（用于计算树枝横截面积或LCSA）和方向。估计的枝条直径用于计算枝条横截面积（LCSA），然后将其用作作物负荷估计的输入，因为较大的LCSA表示枝条的潜在结实能力较高。枝条直径估算的均方根误差为2.08mm，作物负荷估算的均方误差为3.95。
根据商业苹果园的既定管理实践，估计了每个分段枝条的目标作物负荷（果实数量），平均绝对误差（MAE）为2.99，（实际作物负荷为每个LCSA 6个苹果）。研究证明了一种很有前途的工作流程，在动态的商业果园环境中识别苹果树的树干和枝条，并将农场管理实践集成到自动化决策中，具有很高的性能。
02
背景
美国作物总价值的30-40%左右属于特种作物，这清楚地表明了该行业对美国农业和经济活动的重要性。每年都会邀请来自其他国家的20多万季节性工人到美国的果树园工作，进行树木修剪、鲜花疏伐、绿色水果疏伐和收割等实地作业。然而，近几十年来，种植者在寻找足够的农场劳动力来完成各种特种作物的田间作业方面面临挑战。最近，由于新冠导致农业劳动力投入减少，在大流行的第一年，农业劳动力危机因全球大流行而恶化。因此，农业生产系统迫切需要自动化和机器人机器，这些机器可以在果园环境中运行，以执行各种作物和冠层管理操作。
果树修剪包括根据一些指导方针（由研究人员或经验丰富的种植者提供）选择性地修剪和移除树木的某些枝条，以使果实在所需位置均匀生长。此外，树木修剪可确保阳光和空气适当渗透到树冠中，并调节足够的结果部位空间，以实现更好的产量和作物质量。同样，疏伐操作包括去除部分开花和/或未成熟果实（果），以确保剩余果实的所需质量（包括大小）。果树生产中的这些作物负荷管理操作是在最大限度地提高产量（作物负荷）的同时优化果实质量和确保充分的返青之间的平衡行为。因此，为了使用机器人系统有效地执行这些作物负荷管理操作中的大多数，估计这些枝条中的每个枝条中的目标作物负荷是至关重要的，在商业苹果种植中，这是基于树干大小、枝条直径和枝条长度等树木特征信息确定的。枝条支持叶片、果实、花朵和芽的生长，其几何特性可以提供有关正常生长、结果和开花信息的见解，因为它们是作物生长和产量的重要指标。因此，果树枝条几何参数/性状（如长度和直径）的自动估计可以为进一步推进各种作物负荷管理操作的机器人系统提供关键信息。
03
新框架研究背
本研究可分为四个步骤；i） 获取图像数据；ii）使用深度学习方法检测和分割苹果树的树枝和树干；iii）从分割的分支掩模中提取3D点云，并估计横截面积（LCSA）；iv）通过整合商业管理方法，估计特定分支部分的期望作物负荷数量。下图显示了本研究的功能工作流程图。
研究地点和数据采集
这项研究是在位于美国华盛顿州普罗瑟的一个商业苹果园中进行的。果园种植了一种经过V形棚架结构训练的Envy品种。树木于2009年种植，行间距为9.0英尺，株间距为3.0英尺。2021年12月和2022年11月，分别使用Intel RealSense 435i相机（下图b）（英特尔RealSense技术，美国加利福尼亚州）和Microsoft Azure Kinect DK AI相机（下图c）（Microsoft Azure，华盛顿州雷德蒙德市）获取了一组RGB-D图像。
来自Intel RealSense相机的RGB图像用于实现深度学习方法，以识别苹果树的树枝和树干，而来自Microsoft Azure相机的RGB-D图像用于估计树枝的直径和LCSA，以估计目标作物负荷。
相机被放置在距离树干1米（大约）的地方，从地面以上的各种相机高度拍摄图像，包括晴天和阴天。
基于YOLOv8模型的干支检测与分割
YOLOv8与以前版本相比的一个关键改进是，它结合了一种名为PS（伪集成或伪监督）的技术，该技术涉及在训练过程中使用具有不同配置的多个模型。这些模型是在同一个数据集上训练的，但具有不同的超参数，从而产生更多样的预测集。在推理过程中，来自不同模型的预测被组合起来产生最终预测，从而获得更好的准确性和稳健性。当可用的注释训练数据数量有限时，这种技术尤其有用，因为它允许模型从自己的预测中学习，并生成更多样、更准确的输出。下图是实现的YOLOv8算法的架构，用于检测苹果树图像中的树枝和树干。
三维分支定向的主成分分析
主成分分析（PCA）是一种广泛使用的无监督机器学习技术，它可以在不依赖预先存在的标签或指导的情况下识别数据中的模式和关系。通过降低数据维度，主成分分析增强了可解释性，同时最大限度地减少了信息损失。它有助于识别特定数据集中最重要的特征。在本研究中，主成分分析用于确定从YOLOv8模型在RGB图像中检测到的分支掩模中提取的3D点云中变化最大的主成分。从分支掩模中提取的3D点云由变化的方向和幅度表示。对于这种分析，数据归一化是必要的，因为具有不同测量单位的未缩放数据可能会扭曲各种特征之间方差大小的比较。数据归一化是通过减去平均值并除以每个变量的标准差来实现的，将所有变量转换为相同的标度。
基于YOLOv8目标检测和分割模型分割的分支截面样本的分散三维点云数据的主成分分析样本。
分支直径估计
从YOLOv8模型识别的分支掩码中提取并通过PCA处理的分支段的点云用于估计3D空间中的分支直径。为了确定在枝条上测量直径的合适位置，对文献进行了全面审查，并与多个商业苹果种植者进行了协商。研究发现，商业果园中的常见做法包括在距离主干分支边界约3cm的区域测量直径。这种方法基于这样一种理解，即在距离主干边界不到3cm的地方进行测量，可以为相关分支产生更准确的结果。根据本指南，如下图所示，收集了分支直径（GT数据）。
04
实验可视化
示例图像显示了基于YOLOv8的目标检测和分割技术的结果；在休眠季节在一个商业果园拍摄的图像中，树干和树枝被分割出来。
在可变光照条件和可变位置下对树干和树枝进行检测和分割；（a、d和f）在不同树木高度存在复杂背景和弱光的情况下，对树干和树枝进行稳健的检测和分割；（b） 在树的下部具有噪声背景的情况下进行检测和分割；（c） 在多云和弱光条件下以及在树的顶部进行分割；（e） 树的弱光和中间部分的分割。
© THE END
转载请联系本公众号获得授权
高翔老师2023全新力作《自动驾驶与机器人中的SLAM技术：从理论到实践》来啦！
首批印刷的这本书带有高翔老师亲笔签名，数量有限，以后的印刷批次就没有签名啦，大家速抢！！！
如果喜欢本文
欢迎 在看丨留言丨分享至朋友圈 三连快在留言区大声告诉我们
截止8月6日晚24点
包邮送3本价值新书
参与方式：本文留言区留言想要这本书的理由（需要和本书内容相关，否则不会精选），截止时间点赞排名前3名即可获得。
计算机视觉研究院学习群等你加入！
ABOUT
计算机视觉研究院
计算机视觉研究院主要涉及深度学习领域，主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架，提供论文一键下载，并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！
往期推荐
🔗
Sparse R-CNN：稀疏框架，端到端的目标检测（附源码）
564
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
