文献阅读-果实检测和计数的比较研究用于苹果园产量映射

苹果园产量估算

一、why,what,how

（1）Why:产量数据对于果业来说十分重要，常用来分析关于劳动力需求、储存、运输和销售的果园管理决策。
（2）What: Orchard yield estimation果园产量估算
 Detection果实检测
 Counting果实计数
 Track果实跟踪
（3）How:
 Detection（检测）：将水果检测作为一个像素级的分类问题，并训练语义分割网络来决。同时，与目标检测网络FRCNN和基于颜色的GMM聚类技术相比较。
 Counting（计数）：在作者之前的论文Häni、Roy和Volkan(2018)上提出了一种改进的方法。将水果计数作为一个多分类问题，对代表苹果图像块训练CNN，然后通过网络进行分类，具有较高的准确率。其次，简要回顾了使用GMM和图像分割的经典计数方法。

二、技术路线

(a)给定两个来自同一果园行的图像序列，一个从前面，一个从后面。(b)在每帧中检测和计数水果。©在整个图像序列中跟踪水果，以避免重复计算。作为输出，有不同面的图像序列，以及水果的位置和数量。(e)在三维中重建每个图像序列，并将两个重建合并到一个单一的三维模型的树行。对于产量估计，可以删除从树行两侧可见的果实。

三、果实检测Fruit detection

1.模型选择：

（1）由于果树的数据标注比较困难，网络架构必须能够利用少量的训练数据，并有效地使用可用的数据。
（2）设计必须能够处理小物体和遮挡。从2-3米的典型成像距离来看，在1920 × 1080的图像中，苹果通常占据5-50像素。
（3）网络必须能够处理类别不平衡，因为水果与背景像素的比例大约是1:20。

2. models

（1）U‐Net 是一种能够用少量数据实现对小物体的高精度和召回的CNN。通过跳跃连接将encoder中的低级特征与decoder中的高级特征结合，从而使网络能够捕捉多尺度信息。为了解决类别不平衡的问题，使用加权分类交叉熵作为损失函数。（权重反比于每个类别的样本数量）

U-net深度学习遥感图像分割原理与解剖https://cloud.tencent.com/developer/article/2297400

（2）FRCNN目标检测网络
1.Conv layers：
使用一组基础的conv+relu+pooling层提取input image的feature maps
2.RPN(Region Proposal Networks):​
（1）前景/背景分类： 对于每个候选边界框， 预测它是否包含物体（前景）或是背景。通常通过 softmax 函数来计算类别概率分布，然后基于预测的概率值来确定最终的分类。
（2）边界框回归： 在前景分类的基础上，对前景类别的边界框进行调整，以更准确地定位物体。
3.RoI Pooling：
该层利用RPN生成的proposals和CNN网络最后一层得到的feature map，得到固定大小的proposal feature map，利用全连接操作来进行目标识别和定位.

Feature Pyramid Network（ FPN，特征金字塔网络）
 底层特征提取： FPN的起始部分是一个标准的卷积神经网络（如ResNet50），用于提取图像的底层特征。
 自上而下的特征传递： 每个特征金字塔级别都与不同分辨率的底层特征关联，从而在多个尺度上进行特征融合。
 横向连接引入横向连接，将底层特征与自上而下的高层特征相连接。有助于融合不同尺度的特征信息，从而使网络能够同时关注物体的细节和上下文。

（3）GMM，基于颜色的半监督聚类

除了第四个数据集外，高斯混合模型的效果优于另外两个深度学习模型。数据集4因为苹果是偏绿色的， 基于颜色分割的GMM方法效果不如unet。

四、果实计数Fruit counting

1.将水果计数问题作为一个CNN多分类任务，定义了七个类（苹果个数0-6个）
2.如果已知正确的苹果数量，可以使用EM算法找到可能性最大的GMM

ResNet50网络在所有测试集上都优于GMM模型

五、跟踪&合并

(a)输入图像;(b)果实/背景分割;©单侧树行三维重建;(d)水果在二维图像上的重投影;(e)分割点云;(f)三维连接组件;(g)跟踪多帧重投影的水果簇;(h)从一排树的两边都能看到果实串;(i)消除对两边可见的水果

六、总结

1. Detection检测
   当水果可以通过颜色区分时，用户监督的GMM模型是很难被打败的。如果颜色特征不明显，U‐Net表现较好。GMM在大多数情况下表现优于深度学习模型
2. Counting计数
   将水果计数作为一个多分类问题，对苹果图像块训练CNN，然后通过网络进行分类。深度学习的方法在4个实验数据集上表现均优于GMM