基于深度学习的花卉图像关键点检测

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

在本文中，我们描述了我们如何使用卷积神经网络 (CNN) 来估计花卉图像中关键点的位置，并且在 3D 模型上渲染这些图像上茎和花的位置等关键点。

为了能够与真实花束的照片对比，所创建的图像必须尽可能逼真。这是通过使用从多个角度拍摄的真实花朵照片并将它们渲染在 3D 模型上来实现的。对于每一朵新花，他们都会从 7 个不同的角度拍摄照片。在照相亭中，花朵由电机自动旋转。

相比之下，图片的后期处理还没有完全自动化。目前数据库中有数千种鲜花，每天都会添加新的鲜花。将此乘以角度数，将获得大量要手动处理的图片。后处理步骤之一是定位 3D 模型所需的图像上的几个关键点，最重要的是茎位和花顶位置。

数据集

在数据集中，成千上万的图像已经手动标注了关键点，所以我们有大量的训练数据可以使用。

以上是训练数据集中的一些带注释的花，它从几个不同的角度展示了同一朵花。茎位置为蓝色，花顶部位置为绿色。在一些图片中，茎的起源被花本身隐藏了。在这种情况下，我们需要“有根据的猜测”最有可能在哪里。

网络模型

因为模型必须输出一个数字而不是一个类，所以我们实际上是在做回归。CNN 以分类任务而闻名，但在回归方面也表现良好。例如，DensePose使用基于 CNN 的方法进行人体姿势估计。

网络从几个标准卷积块开始。这些块由3个卷积层组成，然后是最大池、批量标准化层和退出层。

• 所述卷积层含有多个滤波器。每个过滤器就像一个模式识别器。下一个卷积块有更多的过滤器，所以它可以在模式中找到模式。