目标检测算法《EfficientDet》与云团跟踪学习笔记

本文链接：https://blog.csdn.net/m0_46581836/article/details/134742823

《Cloud Detection and Tracking Based on Object Detection with Convolutional Neural Networks》

2023，mdpi，

一、摘要

EfficientDet-D2模型)的目标检测技术来检测图像序列中的云的新方法。该方法还计算云运动的速度和方向，从而可以预测由云引起的可用太阳辐射的瞬变。

二、结论

太阳辐射的瞬态估计时间，事电网正常运行的关键，可以激活存储系统来供应瞬态并保持电网稳定。因此，瞬变预测是太阳能技术越来越需要的特征，因为这一特征使太阳能技术更具竞争力和吸引力。

使用目标检测和一种算法来计算轨迹以及瞬态发生的剩余时间。使用了迁移学习和数据增强技术，再训练和测试的结果是足够的。

改进方向

改进该方法的新技术已经在测试中，例如使用语义分割技术在瞬态估计时间中获得更高的精度。与其他方法的交叉验证，前面提到的新技术的实现，寻找最佳相机配置的测试，模型超参数优化，改进云的速度和剩余时间的计算，以及研究如何进一步降低净成本。

三、绪论

主要由云引起的太阳能的瞬态和空间变化带来了技术挑战，需要保护中央接收器免受云引起的瞬变引起的温度峰值的影响。由于太阳能系统的日益普及，当地电网可能容易受到云阴影效应[4]的影响。云层会导致太阳能发电的小时内变化，影响太阳能电站的可调度性和电网的管理

利用地面摄像机和卫星图像检测云和由云引起的瞬变的技术。在传统的方法中，可以找到基于阈值的方法、时间微分方法和统计方法。智能方法包括卷积神经网络(CNN)、简单线性迭代聚类和语义分割算法。智能方法在云检测任务中比传统方法更有效。

别人使用的方法

云的检测和分类通常是太阳预报/现报的第一步，之前使用增强聚类算法来跟踪云层，并根据全天空图像预测相关事件，这种方法可以处理云层外观多变的性质，最近，研究人员研究了色彩空间操作和各种图像分割方法，以提高云成分的视觉对比度，并提出了一种在任何光照条件下计算云覆盖率的新方法，用于短期辐照度预报，云分数与实时辐照度数据之间呈正线性相关。

最近的一项研究提出了一种适用于云检测的深度学习模型，该模型基于 U-Net 网络和用于卫星图像云检测的关注机制。提出的另一种方法是使用级联 CNN 的云检测和移除集成框架，该框架可提供精确的云和阴影掩码，并修复卫星图像。其中一个 CNN 用于检测卫星图像中的云层和阴影，第二个 CNN 用于云层去除和缺失信息重建。最近，有人提出了一种使用多特征嵌入式学习支持向量机的云检测方法，以解决云覆盖占用信道传输带宽的问题

在地面观测方面，一种名为 SegCloud 的新型深度 CNN 模型被提出并应用于精确的云分割。SegCloud 展示了强大的云辨别能力，并能自动分割地面全天空视角相机获得的全天空图像。一个挑战是如何获得用于训练的大型标记数据集。因此，[18] 针对语义云分类引入了基于自我监督的训练方法，使用大型非标记数据集进行预训练。在自我监督预训练之后，再利用小型人工标注数据集进行监督训练。人工智能和计算机视觉技术。得益于这些技术，Hel-IoT 集成了一个全新的智能太阳跟踪系统，只需一个摄像头和一个经过专门训练的神经网络就能跟踪太阳

本文首次提出了一种新方法，利用基于 CNN 深度学习的区域建议技术，通过与物体检测相关的计算机视觉技术，进行云检测、轨迹和瞬态剩余时间预测。目前还没有其他方法基于物体检测并能计算轨迹和剩余时间。所提出的云检测方法基于人工神经网络，正如之前提到的研究中所推荐的那样。此外，开发该方法的主要目的是使其能够在各种硬件（包括地面低成本硬件）上运行，并能够与智能跟踪系统一起使用

技术背景

本文提出了一种基于低成本相机和计算机视觉技术（特别是基于 CNN 的物体检测技术）的方法，用于估算可用的太阳能。该方法的工作原理如下：首先，低成本相机拍摄天空或太阳的图像（如图 1 所示），并将天空中物体的位置投射到相机平面上。图像可以覆盖整个天空，也可以只覆盖太阳区域，例如用于 Hel-IoT 的图像。相机设置为最大分辨率的全自动模式，可根据照明条件调整曝光时间等参数。此外，还可以使用其他相机设置，如缩短曝光时间以防止太阳附近的像素饱和，但这些设置还需要进一步研究。

CNN [21]定位和识别图像中的多个物体，换句话说，就是检测模型输入图像中太阳和云层的位置。分析先前的结果，并根据系列图像中先前图像中最接近的同类物体的标识符编号，为每个检测到的物体分配一个标识符编号。然后，该算法将结果与之前的结果进行比较，计算出云层和太阳的移动矢量

即每个检测到的云到太阳的像素距离与最近五次测得的速度平均值之比。在一个区域内部署多台照相机后，算法就能推断出瞬变将如何影响该区域内安装传感器的每个区域。

定日镜（heliostat）指将太阳或其他天体的光线反射到固定方向的光学装置

硬件总成本不到 100 欧元。EfficientDet-D2 模型[25]在 COCO 2017 数据集[26]上进行了预训练，并在位于 Centro Extremeño de Tecnologías Avanzadas (CETACiemat) 的计算机集群中使用 PSA 数据集进行了再训练。

以在 COCO 2017 数据集上预训练的 EfficientDet-D2 模型为起点，使用了迁移学习。然后，使用 CESA 数据集对该模型进行再训练

随机比例裁剪数据增强技术[25]。该技术通过重新缩放和裁剪原始数据集中的随机图像来增加数据集的异质性，从而为训练过程提供数据。

可以预测四种不同的物体类别：太阳、定日镜、白色朗伯目标和云。虽然云层和太阳是与本作品最相关的对象，但其他对象也可用于太阳跟踪或获取有关阴影或遮挡物的有价值信息

新方法可与智能太阳能跟踪器（如 Hel-IoT）一起使用，利用图像对云层进行智能跟踪，并预测瞬变的估计时间。这一新功能赋予了 Hel-IoT 跟踪太阳、检测阴影和遮挡物以及跟踪云层的能力。

在本研究中，使用基于 Huber 损失函数[29]的加权平滑-l1 函数对定位误差进行量化,采用的是加权-sigmoid-焦点函数.总损失由分类损失和定位损失组成。训练选择了 API 物体检测中推荐的优化器：学习率 = 0.0799 的动量优化器。

开始时的绝对误差大于最终点的误差。如前所述，这可能是由于云不仅移动了，而且还改变了形状，从而影响了其位置的计算，进而影响了其速度的计算，尤其是在检测开始时云形成或接近地平线时。