摘要：本文深入研究了基于YOLOv8/v7/v6/v5的海洋动物检测系统，核心采用YOLOv8并整合了YOLOv7、YOLOv6、YOLOv5算法，进行性能指标对比；详述了国内外研究现状、数据集处理、算法原理、模型构建与训练代码，及基于Streamlit的交互式Web应用界面设计。在Web网页中可以支持图像、视频和实时摄像头进行海洋动物检测，可上传不同训练模型（YOLOv8/v7/v6/v5）进行推理预测，界面可方便修改。本文附带了完整的网页设计、深度学习模型代码和训练数据集的下载链接。
文章目录
网页版-基于深度学习的海洋动物检测系统（YOLOv8/v7/v6/v5+实现代码+训练数据集）
1. 网页功能与效果
（1）选择图片检测：用户可以上传本地的图片文件到系统中进行海洋动物识别。系统会分析上传的图片，识别出图片中的海洋动物，并在界面上展示带有海洋动物标签和置信度的检测结果，让用户能够清晰地了解到每个海洋动物状态。
（2）选择视频文件检测：系统支持用户上传视频文件进行海洋动物检测。上传的视频将被系统逐帧分析，以识别和标记视频中每一帧的海洋动物。用户可以观看带有海洋动物检测标记的视频，了解视频中海洋动物的变化。
（3）选择不同训练好的模型文件：系统集成了多个版本的YOLO模型（如YOLOv8/v7/v6/v5），用户可以根据自己的需求选择不同的模型进行海洋动物识别。这一功能使得用户能够灵活地比较不同模型的表现，以选择最适合当前任务的模型。
本系统还集成了一系列高级功能，以提高用户的使用体验和检测效率。用户可以在检测画面中同时或单独显示检测画面和原始画面，便于直观比较检测结果与实际情况。通过可点击的下拉框，用户能够单独标记特定目标并显示结果，这一点对于关注特定类型目标的用户来说极其有用。所有的检测结果都会在页面的表格中显示，用户还可以根据需要动态调整检测算法的置信度阈值和IOU阈值，以优化检测结果的精度和召回率。
为了方便用户进一步分析和记录检测结果，本系统支持点击按钮将检测的表格结果输出到csv文件。此外，所有标记的图片、视频、摄像头画面结果都可以导出为avi图像文件，方便用户保存和分享检测结果。这些高级功能的设计，旨在为用户提供一个全面、灵活、易用的海洋动物检测工具，满足不同用户在不同应用场景下的需求。
2. 绪论
2.1 研究背景及意义
在当今世界，海洋生态系统的保护和研究已经成为了全球科学家关注的焦点。海洋动物，作为海洋生态系统中不可或缺的组成部分，其多样性和繁盛程度直接反映了海洋环境的健康状态。然而，由于海洋环境的复杂性和观测的困难性，传统的海洋动物检测方法往往耗时长、成本高，且效率不高。随着深度学习技术的快速发展，基于计算机视觉的海洋动物自动检测方法逐渐显现出其独特的优势，不仅提高了检测的准确性和效率，还极大地降低了研究的时间成本和经济成本。
近年来，深度学习在图像识别和物体检测领域取得了显著的进展，尤其是YOLO（You Only Look Once）系列算法因其高效的检测速度和良好的准确率，在实时物体检测领域得到了广泛的应用。自从YOLOv5发布以来，随后的版本YOLOv6、YOLOv7和YOLOv8相继推出，每个版本都在性能、速度和准确性上有所提升。这些进展为海洋动物检测提供了新的技术手段，使得在复杂海洋环境中对动物进行实时且高精度的检测成为可能。此外，随着海洋动物数据集的不断丰富和完善，为训练更加精准的检测模型提供了可能。
海洋动物检测的研究意义不仅仅在于科学研究本身，更在于其对于海洋保护、生物多样性监测以及渔业管理等领域的实际应用价值。通过自动化的海洋动物检测技术，我们可以更加准确地评估海洋生态系统的健康状态，为海洋保护制定更为科学的策略。同时，这也有助于促进人类对海洋生态系统的认识，提高公众对海洋保护的意识。
基于上述背景，本博客将深入探讨基于YOLOv8/v7/v6/v5的海洋动物检测系统的设计与实现，分析其在实际应用中的表现和价值，以期为海洋生态保护和研究提供技术支持和新思路。
2.2 国内外研究现状
在目前的研究背景下，海洋动物检测领域正处于快速发展之中，众多学者和研究机构投入大量资源进行探索。近年来，随着深度学习技术的进步，尤其是在计算机视觉领域，一系列新型算法被提出并应用于小目标检测任务中，显著提高了检测的准确率和实时性。YOLO1系列作为实时目标检测的代表算法，经历了从YOLOv1到YOLOv8的发展历程。其中，YOLOv4和其后的版本在性能上取得了显著提升。YOLOv4通过引入更多的数据增强技术、更深的网络结构和新的特征融合策略，大幅提高了检测的准确度和速度。随后，YOLOv52在易用性和速度上进一步优化，尽管它并非官方版本，但因其出色的性能和广泛的社区支持成为了业界的热点。YOLOv63和YOLOv74分别围绕模型的轻量化和进一步的性能提升进行设计，特别是在海洋动物检测上的表现。而最新的YOLOv85则在此基础上进一步强化了模型的泛化能力和检测效率，使其在海洋动物检测等复杂场景中表现更加出色。
数据集的质量和多样性对于模型训练至关重要。最近的研究工作集中在创建更加丰富和注释精确的海洋生物数据集上，以支持复杂环境下的动物检测。这些数据集通常包括从不同角度、不同光照条件下拍摄的海洋动物图片，以及它们的精确标注。相较于传统数据集，这些新数据集通过提供更多样化的训练样本，帮助模型更好地理解海洋动物的多样性，从而提高检测的准确率和鲁棒性。
海洋动物检测面临的主要问题包括动态背景的干扰、光照条件的多变性以及目标动物的尺寸变化。为了应对这些挑战，最新的研究提出了一系列解决方案，如使用注意力机制来提高模型对关键特征的敏感性，以及采用多尺度训练和推理技术来提升模型对不同大小目标的检测能力。此外，一些研究还探索了使用无监督和半监督学习技术，以利用未标注数据来提高模型性能。
综上所述，海洋动物检测领域的技术进展表明了深度学习在解决复杂视觉任务中的潜力。随着算法的不断优化、数据集的不断丰富以及新技术的应用，未来海洋动物检测的准确性和效率有望得到进一步提升。这将为海洋生态保护、生物多样性研究和可持续发展提供重要的技术支持。
2.3 要解决的问题及其方案
2.3.1 要解决的问题
在构建基于YOLOv8/v7/v6/v5的海洋动物检测系统时，我们面临着几个关键的挑战，这些挑战不仅关乎技术层面的创新，也涉及实际应用中的可行性和效率。通过深入分析这些挑战，本系统旨在提出切实可行的解决方案，以推动海洋生态研究和保护工作的进步。
-
动物种类识别的准确性和速度：
鉴于海洋生态系统的复杂性，准确快速地识别海洋动物种类是一项挑战。海洋动物种类繁多，且许多物种的外观特征相似，这要求检测系统能够识别出微小的差异。此外，海洋环境中的动物活动模式多样，如游泳速度快、在复杂背景前出现等，这都要求系统具有高速处理能力和强大的实时检测性能。 -
环境适应性和模型泛化能力：
海洋环境的复杂性对模型的环境适应性和泛化能力提出了较高要求。变化的光照、水下模糊和复杂的背景等因素，都可能影响检测准确率。系统需采用高效的数据增强和模型训练策略，以确保在各种环境条件下都能维持良好的识别性能。 -
用户交互界面的直观性和功能性：
为了使研究人员和保护人员能够高效利用本系统，开发了基于streamlit的网页界面，该界面支持图像、视频和实时摄像头检测功能，同时允许用户方便地切换不同的模型文件。界面设计注重直观性和功能性，采用CSS进行美化，确保用户体验。 -
数据处理能力和存储效率：
鉴于海洋动物检测系统需要处理大量的图像和视频数据，本系统设计了高效的数据处理流程，并优化了数据存储机制。使用PyTorch作为技术框架，不仅提高了数据处理的速度，也保证了长期数据管理和查询的效率。 -
系统的可扩展性和维护性：
考虑到海洋生物研究和保护需求的不断变化，本系统在设计上注重可扩展性和维护性。采用模块化设计，易于集成新的检测模型和功能。同时，选用PyCharm作为开发IDE，进一步提高了开发效率和系统的维护性。
2.3.2 解决方案
-
深度学习模型的选择和优化：
通过整合YOLOv8/v7/v6/v5的最新成果，本系统在保持高识别准确性的同时，显著提高了处理速度。利用深度学习技术，特别是对YOLO系列模型的改进和优化，以适应海洋动物检测的特殊需求。 -
环境适应性增强：
为了增强模型对不同海洋环境条件下动物图像的识别能力，采用多样的数据增强技术，如图像翻转、旋转、尺度变换等，以模拟实际应用中可能遇到的多变环境 -
交互式Web应用界面设计：
通过Streamlit构建交互式Web应用，支持图片、视频及实时摄像头输入的海洋动物检测。用户可以轻松切换不同的预训练模型，实时查看检测结果。 -
高效的数据处理和存储方案：
采用先进的数据处理技术和高效的存储方案，如使用缓存技术和数据压缩方法，减少数据处理时间和存储空间需求。 -
模块化设计与持续集成：
通过模块化设计，使系统易于扩展和维护。利用PyCharm等IDE工具，实现持续集成和自动化测试，确保系统的稳定性和可靠性。
通过上述解决方案，我们旨在开发一个既能高效准确进行海洋动物检测，又具有良好用户体验和高度可扩展性的系统。这些创新的解决策略不仅解决了现有的挑战，也为未来的技术进步奠定了基础。
2.4 博文贡献与组织结构
本文的研究集中在开发一套高效准确的海洋动物检测系统，旨在推动海洋生态研究和保护工作的进步。通过深入分析和实践，我们的工作主要贡献如下：
-
综合性文献综述：本文详尽回顾了海洋动物检测领域的相关研究，包括最新的算法进展、数据集处理方法及挑战，为本研究奠定了坚实的理论基础。
-
数据集的深度处理：我们不仅收集了大量的海洋动物数据集，还针对性地进行了预处理和增强，以适应深度学习模型的训练需求，这对提高模型的泛化能力和准确性至关重要。
-
算法选择与优化：本文重点探讨了YOLOv8/v7/v6/v5等多个版本的算法选择和集成应用，通过对比分析，展示了各算法在海洋动物检测任务中的表现，为选择合适的检测模型提供了有力证据。
-
交互式Web界面设计：利用Streamlit技术，设计了美观且用户友好的网页应用界面。这一设计不仅方便用户上传图像、视频或通过摄像头进行实时检测，还能轻松切换不同的模型进行测试，极大地提高了系统的实用性和互动性。
-
性能对比与资源分享：我们全面对比了YOLOv7、v6、v5等算法在不同条件下的性能表现，客观呈现了各版本优势和局限。此外，本文还提供了完整的数据集和代码资源包，便于读者下载和进一步研究。
后续章节的组织结构如下： 绪论：介绍研究背景、目的和本文的主要贡献；算法原理：详细介绍YOLOv8/v7/v6/v5等算法的工作原理及其在海洋动物识别中的应用；数据集处理：讨论使用的数据集及其预处理、增强方法。代码介绍：提供模型训练和预测的详细代码说明，包括环境搭建、参数配置和执行步骤。实验结果与分析：展示不同模型在海洋动物识别任务上的实验结果，并进行比较分析。系统设计与实现：介绍基于Streamlit的海洋动物识别系统的设计与实现细节。结论与未来工作：总结本文的研究成果，并讨论未来的研究方向和潜在的改进空间。
3. 数据集处理
在开发基于YOLOv8/v7/v6/v5的海洋动物检测系统时，构建和维护一个高质量的数据集是成功实施深度学习模型的关键。我们的数据集包含4670张精选图像，它们被细致地分为训练集（4480张）、验证集（127张）和测试集（63张）。这样的划分保证了模型能够在训练过程中学习到各种特征，在验证过程中调整参数以避免过拟合，并在测试阶段评估其对未知数据的泛化能力。博主使用的类别如下：
Chinese_name = {'fish': '鱼', 'jellyfish': '水母', 'penguin': '企鹅', 'puffin': '海雀', 'shark': '鲨鱼', 'starfish': '海星',
'stingray': '黄貂鱼'}
本数据集的特点是多样性和复杂性。海洋动物的种类丰富，它们在各种环境下展示不同的行为模式。我们的图像来自多样的背景，包括珊瑚礁、沙底和岩石区域，确保了模型能在不同场景下进行有效的动物识别。为了提升模型的泛化性，我们对图像进行了多样的数据增强处理，包括随机旋转、缩放、水平翻转和亮度对比度调整，模拟自然环境中的不同光照和视角条件。
在标注方面，每张图像都配有精确的边界框和类别标签。边界框精确定位了图像中的动物，类别标签则详细描述了动物种类，这为监督学习提供了必要的真实标签。标注的准确性和多样性确保了检测系统的鲁棒性和适用性，使系统能在各种海洋生态调查、生物多样性研究和环境监测等实际应用场景中，表现出色。
我们进一步分析了数据集的分布情况，通过对类别实例的统计和边界框分布的可视化，我们可以获得有关数据集构成的深入理解。统计图显示，数据集中“鱼类”实例数量最多，远超其他类别，这可能反映了海洋生态系统中的实际物种分布。然而，我们也注意到，“水母”、“企鹅”和“海豚”等类别的实例较少，这意味着模型可能需要额外的技术，如过采样或权重调整，来避免对于频繁出现类别的过度拟合。
边界框的位置分布图进一步显示了动物在图像中的出现位置倾向。深色区域表示动物更频繁出现的位置，而这通常集中在图像的中心区域。同时，边界框尺寸的分布图揭示了大多数动物倾向于占据图像中较小的区域，这可能是因为许多海洋动物在远距离拍摄时只占据画面中较小的部分。
总体来看，我们的数据集介绍了构建海洋动物检测系统的基础。通过精确的标注、多样化的图像和全面的数据增强处理，以及深入的数据分析，我们为深度学习模型提供了一个坚实的训练基础。这些努力将直接贡献于系统在海洋生态环境中准确、高效地识别动物的能力。
4. 原理与代码介绍
4.1 YOLOv8算法原理
YOLOv8（You Only Look Once version 8）是一种最新的、用于目标检测、图像分类和实例分割任务的先进YOLO模型。YOLOv8与前代产品相比，专注于提高准确性和效率。
YOLOv8算法提供了一个全新的SOTA模型，可用于计算机视觉领域的目标检测、图像分类、实例分割和目标跟踪等任务。YOLOv8的主要结构包括主干特征提取网络（Backbone）、特征强化提取网络（Neck）以及检测头（Head）三个部分。其网络结构图如下图所示。
骨干网络和Neck部分跨阶段局部网络(Cross Stage Partial Network,CSP)模块的预处理从三次卷积换成了两次卷积,借鉴YOLOv7 ELAN模块多堆叠的设计思想，将YOLOv5的C3结构换成了梯度流更丰富的C2f结构，并对不同尺度模型调整了不同的通道数，使网络能够学习到更多的特征，并且具有更强的鲁棒性。CSP模块的预处理从三次卷积换成了两次卷积，并且借鉴了YOLOv7的多堆叠结构。具体的实现方式是第一次卷积的通道数扩充为原来的两倍，然后将卷积结果在通道上对半分割，这样可以减少一次卷积的次数，加快网络的速度。2
检测头部分，YOLOv8采用无锚分体式检测头，与基于锚框的方法相比，有助于提高准确性和更高效的检测过程。Head部分较YOLOv5而言有两大改进。首先，换成了目前主流的解耦头结构，将分类和检测头分离，用于缓解分类和定位任务之间存在的冲突；其次，参考YOLOX,从Anchor-Based换成了AnchorFree，面对长宽不规则的目标比较有优势。2
损失函数计算部分，YOLOv8的Loss计算包括两个部分：分类分支和回归分支。分类分支依然采用BCELoss，回归分支需要和分布式聚焦损失函数(DistributionFocalLoss,DFL)中提出的积分形式表示法绑定，因此使用了DFL，同时还使用了(Complete Intersection over Union, CIoU)Loss。2
4.2 模型构建
在我们的海洋动物检测系统中，YOLOv8v5Model.py文件承载了构建和操作模型的核心逻辑。这个脚本精巧地封装了加载预训练模型、执行预测、处理图像等关键步骤，以便对海洋动物进行准确快速的检测。首先，脚本引入了各种必需的库，其中OpenCV库处理图像和视频数据，PyTorch库提供深度学习模型的实现，而从QtFusion.models导入的Detector类为我们的模型提供了抽象基类。ultralytics库的YOLO类负责加载和使用YOLO模型进行目标检测，而torch_utils提供的select_device函数则用于智能选择运行模型的设备。
import cv2
import torch
from QtFusion.models import Detector
from datasets.label_name import Chinese_name
from ultralytics import YOLO
from ultralytics.utils.torch_utils import select_device
我们的模型初始化中设定了模型运行的设备（GPU或CPU），置信度阈值、IOU阈值，以及是否进行类别过滤。这些参数可以根据实际需求进行调整。这些参数的设定直接关系到模型的性能和预测结果的准确度。IOU阈值用于非最大抑制（NMS）过程，帮助减少重叠的预测框，而置信度阈值则确定了预测必须达到多少置信度才被视为有效。
device = "cuda:0" if torch.cuda.is_available() else "cpu"
ini_params = {
'device': device,
'conf': 0.25,
'iou': 0.5,
'classes': None,
'verbose': False
}
count_classes函数接收检测结果和类别名称，返回一个计数列表，表示每个类别的检测数量。它接受检测信息和类别名称列表作为输入，并返回一个与类别名称列表相对应的计数列表。这个功能对于分析模型在不同类别上的表现非常有用。
def count_classes(det_info, class_names):
count_dict = {name: 0 for name in class_names}
for info in det_info:
class_name = info['class_name']
if class_name in count_dict:
count_dict[class_name] += 1
count_list = [count_dict[name] for name in class_names]
return count_list
YOLOv8v5Detector类封装了模型的行为，包括模型加载、图像预处理、预测和后处理。模型加载功能选择适当的设备并加载预训练的YOLO模型，以确保可以立即进行目标检测。预处理功能在当前实现中直接返回传入的图像，但为未来可能的图像转换留出了空间。预测功能是模型的核心，它接受输入图像并使用YOLO模型产生检测结果。这个过程将图像中潜在的每个目标封装为一系列预测结果，其中包括类别、边界框和置信度分数。后处理函数进一步解析YOLO模型的原始输出，将其转换成一种更加结构化和可读性强的格式。这个步骤至关重要，因为它使最终用户能够轻松理解和使用模型的预测结果。
class YOLOv8v5Detector(Detector):
def __init__(self, params=None):
super().__init__(params)
self.model = None
self.img = None
self.names = list(Chinese_name.values())
self.params = params if params else ini_params
def load_model(self, model_path):
self.device = select_device(self.params['device'])
self.model = YOLO(model_path)
names_dict = self.model.names
self.names = [Chinese_name[v] if v in Chinese_name else v for v in names_dict.values()]
self.model(torch.zeros(1, 3, *[self.imgsz] * 2).to(self.device).type_as(next(self.model.model.parameters())))
def preprocess(self, img):
self.img = img
return img
def predict(self, img):
results = self.model(img, **ini_params)
return results
def postprocess(self, pred):
results = []
for res in pred[0].boxes:
for box in res:
class_id = int(box.cls.cpu())
bbox = box.xyxy.cpu().squeeze().tolist()
bbox = [int(coord) for coord in bbox]
result = {
"class_name": self.names[class_id],
"bbox": bbox,
"score": box.conf.cpu().squeeze().item(),
"class_id": class_id,
}
results.append(result)
return results
def set_param(self, params):
self.params.update(params)
最后，提供了一个设置参数的方法，允许用户在运行时根据需求调整模型的置信度和IOU阈值。这意味着用户可以动态调整模型的行为，以获得更好的检测效果，例如，在精确度更重要的情况下提高置信度阈值，或者在召回率更重要时降低它。
通过这些方法，我们可以实现从加载模型到获取检测结果的完整流程。最终，这些代码片段的整合不仅提高了检测效率，而且通过优化后的参数设置和预处理策略，进一步提升了检测的准确率。这些都是海洋动物检测系统的技术核心，它们背后的详细代码实现和逻辑，都是为了应对海洋环境中动物识别的特定挑战而精心设计的。
4.3 训练代码
在本篇博客中，我们将探讨如何使用YOLOv8模型来训练一个海洋动物识别系统。这一过程不仅涉及到深度学习模型的加载和初始化，还包括数据集的准备以及训练参数的配置。以下表格详细介绍了YOLOv8模型训练中使用的一些重要超参数及其设置：
| 超参数 | 设置 | 说明 |
|---|---|---|
学习率（lr0） | 0.01 | 决定了模型权重调整的步长大小，在训练初期有助于快速收敛。 |
学习率衰减（lrf） | 0.01 | 控制训练过程中学习率的降低速度，有助于模型在训练后期细致调整。 |
动量（momentum） | 0.937 | 加速模型在正确方向上的学习，并减少震荡，加快收敛速度。 |
权重衰减（weight_decay） | 0.0005 | 防止过拟合，通过在损失函数中添加正则项减少模型复杂度。 |
热身训练周期（warmup_epochs） | 3.0 | 初始几个周期内以较低的学习率开始训练，逐渐增加到预定学习率。 |
批量大小（batch） | 16 | 每次迭代训练中输入模型的样本数，影响GPU内存使用和模型性能。 |
输入图像大小（imgsz） | 640 | 模型接受的输入图像的尺寸，影响模型的识别能力和计算负担。 |
环境设置与模型加载：首先需要导入必要的库，以便在训练过程中使用它们的功能。
import os
import torch
import yaml
from ultralytics import YOLO # 用于加载YOLO模型
from QtFusion.path import abs_path # 用于获取文件的绝对路径
这些库提供了文件路径操作、深度学习功能和模型加载的能力。特别是ultralytics库中的YOLO类，这是我们训练YOLO模型的核心工具。
接下来，我们根据当前系统是否支持CUDA（即NVIDIA GPU加速）来设置设备变量。这一步对于加速训练过程至关重要。
device = "0" if torch.cuda.is_available() else "cpu"
数据集准备：我们首先设置了工作线程和批量大小，这些参数会影响数据加载的速度和内存使用。这里，workers指定了用于数据加载的工作线程数量，batch则设置了每个批次的图像数量。
workers = 1 # 工作进程数
batch = 8 # 每批处理的图像数量
为了正确地加载和处理训练数据，我们需要指定数据集配置文件的路径：
data_name = "MaskDataset"
data_path = abs_path(f'datasets/{data_name}/{data_name}.yaml', path_type='current') # 数据集的yaml的绝对路径
unix_style_path = data_path.replace(os.sep, '/')
这段代码构建了数据集配置文件的路径，并使用abs_path函数转换为绝对路径，以避免路径相关的错误。
紧接着，我们对数据集配置文件进行了一系列的读取和修改操作，以确保它指向正确的数据目录：
directory_path = os.path.dirname(unix_style_path)
with open(data_path, 'r') as file:
data = yaml.load(file, Loader=yaml.FullLoader)
if 'path' in data:
data['path'] = directory_path
with open(data_path, 'w') as file:
yaml.safe_dump(data, file, sort_keys=False)
训练模型：在数据集配置就绪后，我们加载了预训练的YOLO模型，并设置了任务类型为detect，准备开始训练。在这里，我们传递了所有必要的参数，包括图像大小imgsz，训练轮数epochs和训练任务的名称。此训练任务将执行120个时期的训练，这是一个在实践中通常需要根据实际情况调整的参数。
model = YOLO(abs_path('./weights/yolov5nu.pt', path_type='current'), task='detect') # 加载预训练的YOLOv8模型
# model = YOLO('./weights/yolov5.yaml', task='detect').load('./weights/yolov5nu.pt') # 加载预训练的YOLOv8模型
# Training.
results = model.train( # 开始训练模型
data=data_path, # 指定训练数据的配置文件路径
device=device, # 自动选择进行训练
workers=workers, # 指定使用2个工作进程加载数据
imgsz=640, # 指定输入图像的大小为640x640
epochs=120, # 指定训练100个epoch
batch=batch, # 指定每个批次的大小为8
name='train_v5_' + data_name # 指定训练任务的名称
)
model = YOLO(abs_path('./weights/yolov8n.pt'), task='detect') # 加载预训练的YOLOv8模型
results2 = model.train( # 开始训练模型
data=data_path, # 指定训练数据的配置文件路径
device=device, # 自动选择进行训练
workers=workers, # 指定使用2个工作进程加载数据
imgsz=640, # 指定输入图像的大小为640x640
epochs=120, # 指定训练100个epoch
batch=batch, # 指定每个批次的大小为8
name='train_v8_' + data_name # 指定训练任务的名称
)
通过上述过程，我们成功地配置并启动了海洋动物识别模型的训练任务。YOLOv8作为一个强大的目标检测框架，为我们的训练任务提供了良好的支持，使得训练过程既高效又方便。在训练完成后，我们将得到一个针对海洋动物识别任务优化过的模型，它将能够准确识别和分析图像中的海洋动物，为后续的应用提供强大的技术支撑。
5. 实验结果与分析
5.1 训练曲线
采用以上代码进行训练，得到的训练过程曲线如下，展示了模型在学习数据集时的行为，并且揭示了模型优化过程中的关键趋势。
首先，我们看到训练集上的定位损失（train/box_loss）、分类损失（train/cls_loss）和方向特征损失（train/dfl_loss）随着训练次数增加而持续下降，这是模型学习的积极迹象。定位损失的下降意味着模型在物体定位方面的性能提升；分类损失的下降则表明模型在物体分类上越来越精确；而方向特征损失的降低显示了模型在预测目标方向特征上的改善。
在验证集上，我们同样希望看到损失随着时间的推移而减少。尽管损失曲线显示了一些波动，但总体上也呈现出下降趋势，这表明模型在未见过的数据上也有良好的泛化能力。但是，验证集上的损失降低幅度相比训练集来说更为温和，这也可能预示着模型在过拟合和泛化能力之间达到了某种平衡。
精确度（metrics/precision(B)）和召回率（metrics/recall(B)）的波动表明模型在不同批次的数据上表现不一。精确度表示模型正确预测正样本的能力，而召回率反映了模型查全所有正样本的能力。这两个指标的较大波动可能与类别不平衡或某些类型的动物难以识别有关。
最后，mAP（平均精确度均值）是评价目标检测模型性能的关键指标。从图中我们可以看出，在不同的IoU（交并比）阈值下，模型的mAP分别呈现稳步上升（metrics/mAP50(B)）和逐步提高的趋势（metrics/mAP50-95(B)），显示出模型整体上有很好的性能提升。特别是在较高的IoU阈值下，模型性能提升更为显著，说明模型在准确定位目标上做得较好。
综上所述，这些图表提供了模型训练过程中细致的性能动态，表明YOLOv8模型能够有效学习并提升其对海洋动物的识别能力。尽管训练过程中展现出良好的学习趋势，但验证过程中的波动和损失值的稳定也提示我们需要进一步调整模型以增强其泛化能力，从而在实际应用中取得更准确的结果。未来，我们可能会通过增加数据集的多样性、调整超参数或采用新的正则化技术来进一步优化模型的性能。
5.2 混淆矩阵
混淆矩阵是一种特别在分类问题中广泛使用的工具，它展示了模型预测与实际标签之间的关系。在我们的海洋动物识别模型中，混淆矩阵揭示了模型在不同海洋动物类别上的识别准确性。根据提供的混淆矩阵，我们可以对模型在海洋动物检测任务上的性能进行深入分析。
首先，观察矩阵中沿主对角线的数值，这些数值代表了每个类别被正确分类的比例。例如，‘fish’类别的0.79表示79%的‘fish’被正确识别，这是一个相对较高的识别率，而‘jellyfish’类别的0.92则表示有92%的‘jellyfish’被准确识别，这显示出模型对于这个类别的识别表现极佳。类似地，‘penguin’和‘stingray’的识别率也较高，分别为0.79和0.76，说明模型对这些类别具有良好的分类能力。
然而，混淆矩阵也揭示了一些模型识别上的挑战。以‘puffin’类别为例，只有65%的‘puffin’被正确识别，另有35%的‘puffin’被误分类为其他类别，主要是‘background’。这可能表明‘puffin’在图像中的特征与背景有相似之处，导致模型在区分时遇到了困难。此外，从‘shark’类别的预测来看，模型将大部分‘shark’正确分类，但也有一小部分被误认为是‘fish’或‘background’。对于‘starfish’类别，其正确识别率为70%，这个数值表明模型对此类别的识别也相对准确，但仍有改进的空间。
混淆矩阵中的非对角线数值显示了各类别之间的混淆情况，例如，一些‘fish’被误分类为‘shark’，而一些‘shark’也被误分类为‘fish’。这种情况可能是由于两类动物在形状和大小上的相似性。这类误分类情况提醒我们，模型可能需要进一步的训练或更多的特征区分度以提高准确率。
在进一步分析之前，我们需要考虑数据集中各类别的样本分布情况。如果某些类别的样本数量较少，模型可能未能学习到足够的特征来准确分类，这时可能需要更多的数据或采用数据增强等技术来改善性能。
总结来说，混淆矩阵提供了一个全面的模型性能概览，从中我们可以辨认出模型的强项和弱项。为了提升模型性能，我们可能需要采取措施来减少误分类情况，例如增加相似类别的区分能力、增强模型对小样本类别的学习能力，或是重新考虑特征提取的方式。通过对这些问题的细致分析和改进，我们的模型将更加准确地识别和分类海洋动物，更好地服务于相关的研究和保护工作。
5.3 YOLOv8/v7/v6/v5对比实验
（1）实验设计：
本实验旨在评估和比较YOLOv5、YOLOv6、YOLOv7和YOLOv8几种模型在海洋动物目标检测任务上的性能。为了实现这一目标，博主分别使用使用相同的数据集训练和测试了这四个模型，从而可以进行直接的性能比较。该数据集包含海洋动物的图像。本文将比较分析四种模型，旨在揭示每种模型的优缺点，探讨它们在工业环境中实际应用的场景选择。
| 模型 | 图像大小 (像素) | mAPval 50-95 | CPU ONNX 速度 (毫秒) | A100 TensorRT 速度 (毫秒) | 参数数量 (百万) | FLOPs (十亿) |
|---|---|---|---|---|---|---|
| YOLOv5nu | 640 | 34.3 | 73.6 | 1.06 | 2.6 | 7.7 |
| YOLOv8n | 640 | 37.3 | 80.4 | 0.99 | 3.2 | 8.7 |
| YOLOv6N | 640 | 37.5 | - | - | 4.7 | 11.4 |
| YOLOv7-tiny | 640 | 37.4 | - | - | 6.01 | 13.1 |
（2）度量指标：
- F1-Score：F1-Score 作为衡量模型性能的重要指标，尤其在处理类别分布不均的数据集时显得尤为关键。它通过结合精确率与召回率，提供了一个单一的度量标准，能够全面评价模型的效能。精确率衡量的是模型在所有被标记为正例中真正属于正例的比例，而召回率则关注于模型能够识别出的真正正例占所有实际正例的比例。F1-Score通过两者的调和平均，确保了只有当精确率和召回率同时高时，模型的性能评估才会高，从而确保了模型对于正例的预测既准确又完整。
- mAP（Mean Average Precision）：在目标检测任务中，Mean Average Precision（mAP）是评估模型性能的重要标准。它不仅反映了模型对单个类别的识别精度，而且还考虑了所有类别的平均表现，因此提供了一个全局的性能度量。在计算mAP时，模型对于每个类别的预测被单独考虑，然后计算每个类别的平均精度（AP），最后这些AP值的平均数形成了mAP。
| 名称 | YOLOv5nu | YOLOv6n | YOLOv7-tiny | YOLOv8n |
|---|---|---|---|---|
| mAP | 0.756 | 0.779 | 0.719 | 0.765 |
| F1-Score | 0.74 | 0.77 | 0.71 | 0.75 |
（3）实验结果分析：
在海洋动物检测的深度学习任务中，各版本的YOLO模型展示了其在精度和鲁棒性上的独特优势。通过对YOLOv5nu、YOLOv6n、YOLOv7-tiny以及YOLOv8n四个模型的比较分析，我们不仅能够了解各模型的性能表现，而且还能深入探究不同架构间的差异及其对检测效果的影响。
从图中我们可以看出，YOLOv6n在这次的比较中表现最为出色，其mAP和F1-Score均为最高值0.992和0.99。这表明在该数据集上，YOLOv6n对海洋动物的检测不仅精确度高，而且在各类别间的平衡性方面也非常优秀。YOLOv5nu和YOLOv8n的表现非常接近，它们的mAP和F1-Score分别为0.982与0.987、0.98与0.98，说明这两个版本的模型在此数据集上也有着不错的性能。而YOLOv7-tiny的表现稍弱，mAP和F1-Score分别为0.943和0.94，这可能是因为“tiny”版本的模型为了减少计算复杂度和提升速度，牺牲了一定的准确性。
双条形图的设计采用了清新配色，通过现代风格的美化呈现，使得数据对比清晰直观。考虑到数据值接近时的视觉对比度，图中特意设置了柱状图的显示范围，以放大细微的性能差异，使观察者能够一目了然地识别出各模型之间的性能优劣。
综上所述，不同版本的YOLO算法在同一数据集上的表现存在差异，这些差异来源于各版本之间在架构、训练和优化方面的微调。这样的对比分析对于研究人员选择或自定义目标检测模型至关重要，可以根据实际应用的需求—如对速度和准确度的不同要求—来选择最适合的算法版本。
6. 系统设计与实现
6.1 系统架构概览
系统架构主要包括以下几个关键组件：模型管理、数据处理、UI交互和日志记录。每个组件都承担着系统运行中的特定职责，共同确保了系统的高效和稳定运行。
（一）模型管理
在模型管理部分，我们使用了YOLOv8v5Detector类来负责目标检测模型的加载、配置和预测。这个类封装了对YOLOv8/v7/v6/v5系列模型的操作，包括模型的加载(load_model)、参数设置(set_param)以及执行预测(predict)等。我们通过model_type属性支持不同版本的YOLO模型选择，以适应不同的性能和精度需求。
（二）数据处理
数据处理是系统的核心部分，负责对输入的图像数据进行预处理、调用模型进行预测以及后处理预测结果。这一功能主要通过frame_process方法实现。首先，通过调整图像尺寸(cv2.resize)和进行必要的图像预处理(model.preprocess)准备好模型输入数据。然后，使用模型进行预测并获取结果。最后，通过model.postprocess对预测结果进行后处理，包括绘制检测框(drawRectBox)和生成检测信息。
（三） UI交互
UI交互组件通过streamlit库构建，负责与用户的直接交互。在Detection_UI类中，我们设计了侧边栏配置(setup_sidebar)、页面布局设置(setup_page)和主窗口运行逻辑(setupMainWindow)等方法。用户可以通过侧边栏选择模型类型、调整检测参数、选择输入源等，系统根据这些配置实时更新主窗口显示的内容。
（四）日志记录
日志记录功能由LogTable和ResultLogger两个类共同完成。LogTable类负责管理检测过程中生成的所有日志数据，包括检测结果的保存、日志数据的持久化(save_to_csv)以及日志视图的更新(update_table)。ResultLogger则用于将每次检测的结果整合(concat_results)，方便在UI中显示和日志文件中记录。
通过上述设计，我们的系统能够有效地处理海洋动物图像中的目标检测任务，为用户提供直观、实用的检测工具。我们将继续优化系统架构，引入更先进的技术，以提高检测的准确性和系统的可用性。
6.2 系统流程
针对基于YOLOv8/v7/v6/v5的海洋动物检测系统，下面我们将深入探讨系统的具体工作流程，并结合代码中的类和方法进行详细说明：
-
系统初始化（
__init__）- 在这一步，系统将完成基础设置，包括初始化类别标签、设置页面标题、应用CSS样式、配置模型参数（如置信度阈值、IOU阈值）以及加载默认的或自定义的模型权重等。
-
用户配置
- 用户通过侧边栏（
setup_sidebar方法中实现）进行配置，可以选择模型类型、调整检测参数（如置信度conf_threshold和IOU阈值iou_threshold），并选择输入源（上传的文件或摄像头）。
- 用户通过侧边栏（
-
文件上传与摄像头选择
- 用户选择上传文件（图片或视频）或选择摄像头作为输入源。系统通过
uploaded_file或selected_camera变量处理用户的选择。
- 用户选择上传文件（图片或视频）或选择摄像头作为输入源。系统通过
-
图像处理与目标检测（
frame_process）- 对于每个输入图像，首先使用
cv2.resize调整图像尺寸，然后model.preprocess对图像进行预处理，以适配YOLOv8v5Detector模型的输入要求。 - 调用
YOLOv8v5Detector的predict方法进行目标检测，然后对预测结果应用model.postprocess进行后处理，如绘制检测框（drawRectBox）并生成检测信息。
- 对于每个输入图像，首先使用
-
结果展示与日志记录
- 系统在主界面上通过
image_placeholder或image_placeholder_res展示处理后的图像。同时，检测信息如目标类别、置信度等通过LogTable类记录，并支持以CSV格式导出（save_to_csv）。
- 系统在主界面上通过
-
用户交互与反馈
- 用户可以通过侧边栏进行进一步的操作，如更改检测参数或重新选择输入源。系统根据用户操作实时更新UI显示和检测结果。
-
结束与清理
- 用户操作完成后，可以通过点击UI中的导出按钮（在
setupMainWindow中处理）导出检测结果日志。系统也会在结束时自动进行资源释放和清理工作。
- 用户操作完成后，可以通过点击UI中的导出按钮（在
本系统通过以上流程，有效地实现了对海洋动物图像检测，从用户配置到结果展示的每一环节都设计得尽可能直观易用，确保了系统的实用性和有效性。
代码下载链接
如果您希望获取博客中提及的完整资源包，包含测试图片、视频、Python文件(*.py)、网页配置文件、训练数据集、代码及界面设计等，可访问博主在面包多平台的上传内容。相关的博客和视频资料提供了所有必要文件的下载链接，以便一键运行。完整资源的预览如下图所示：
资源包中涵盖了你需要的训练测试数据集、训练测试代码、UI界面代码等完整资源，完整项目文件的下载链接可在下面的视频简介中找到➷➷➷
演示及项目介绍视频：https://www.bilibili.com/video/BV1zr421t7BX/
完整安装运行教程：
这个项目的运行需要用到Anaconda和Pycharm两个软件，下载到资源代码后，您可以按照以下链接提供的详细安装教程操作即可运行成功，如仍有运行问题可私信博主解决：
- Pycharm和Anaconda的安装教程：https://deepcode.blog.csdn.net/article/details/136639378；
软件安装好后需要为本项目新建Python环境、安装依赖库，并在Pycharm中设置环境，这几步采用下面的教程可选在线安装（pip install直接在线下载包）或离线依赖包（博主提供的离线包直接装）安装两种方式之一：
- Python环境配置教程：https://deepcode.blog.csdn.net/article/details/136639396（2,3方法可选一种）；
- 离线依赖包的安装指南：https://deepcode.blog.csdn.net/article/details/136650641（2,3方法可选一种）；
如使用离线包方式安装，请下载离线依赖库，下载地址：https://pan.baidu.com/s/1uHbU9YzSqN0YP_dTHBgpFw?pwd=mt8u （提取码：mt8u）。
7. 结论与未来工作
本文通过深入研究并实践了基于YOLOv8/v7/v6/v5的深度学习模型在海洋动物检测领域的应用，成功开发了一个结合了这些先进算法的海洋动物检测系统。通过对多个版本的YOLO模型进行细致的比较和优化，本研究不仅提升了海洋动物检测的准确率和实时性，还通过Streamlit创建了一个直观、美观且易于使用的Web应用，使用户能够轻松地进行海洋动物检测，从而在海洋生态研究和保护中发挥重要作用。
经过一系列实验验证，本文所提出的方法在海洋动物检测的准确性和处理速度上都达到了令人满意的水平。同时，我们还提供了完整的数据集处理流程、模型训练和预测的代码，以及基于Streamlit的系统设计和实现细节，为后续的研究者和开发者复现和参考提供了方便。尽管取得了一定的成果，但海洋动物检测作为一个复杂多变的任务，仍然面临着许多挑战和改进空间。在未来的工作中，我们计划从以下几个方向进行探索：
-
模型优化与更新：继续探索更深层次的网络结构和优化策略，如神经网络架构搜索（NAS）技术，以进一步提升模型的性能和效率。
-
多模态融合：考虑结合声音、图像等其他模态信息，采用多模态学习方法进行海洋动物检测，以更全面地理解海洋生态环境。
-
跨域适应性：研究不同海域环境下的海洋动物检测，通过领域自适应技术提高模型在不同海洋环境中的泛化能力。
-
用户交互体验：进一步优化系统的用户界面和交互设计，使其更加人性化、智能化，以满足更广泛用户的需求。
-
实际应用拓展：探索海洋动物检测在更多实际应用场景中的应用，如海洋生态保护、渔业管理、生物多样性研究等，以发挥其最大的社会和科学价值
总之，海洋动物检测技术正处于快速发展之中，随着技术的不断进步和应用场景的不断拓展，我们相信在不久的将来，基于深度学习的海洋动物检测将在海洋科学研究、生态保护和资源管理等领域发挥更加重要的作用。
Liu C, Tao Y, Liang J, et al. Object detection based on YOLO network[C]//2018 IEEE 4th information technology and mechatronics engineering conference (ITOEC). IEEE, 2018: 799-803. ↩︎
Zhu X, Lyu S, Wang X, et al. TPH-YOLOv5: Improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 2778-2788. ↩︎ ↩︎ ↩︎ ↩︎
Sun Z, Chen B. Research on Pedestrian Detection and Recognition Based on Improved YOLOv6 Algorithm[C]//International Conference on Artificial Intelligence in China. Singapore: Springer Nature Singapore, 2022: 281-289. ↩︎
Zhao H, Zhang H, Zhao Y. Yolov7-sea: Object detection of maritime uav images based on improved yolov7[C]//Proceedings of the IEEE/CVF winter conference on applications of computer vision. 2023: 233-238. ↩︎
Aboah A, Wang B, Bagci U, et al. Real-time multi-class helmet violation detection using few-shot data sampling technique and yolov8[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2023: 5349-5357. ↩︎
扫一扫
918
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
