【源码】基于Yolov8林业害虫检测并结合大模型实现问答的综合系统

1、基本介绍

 随着林业害虫对森林资源的危害日益严重，如何高效、准确地检测并识别害虫，成为了现代林业管理中的重要课题。本项目基于 YOLOv8 的目标检测技术，结合 PySide6、MySQL和 LangChain ，通过onnx部署训练好的模型，设计并实现了一个智能的林业害虫检测系统。系统不仅可以进行实时的害虫检测，还能通过数据库搜索与大语言模型进行问答交互，帮助用户获取更详细的害虫信息。

本项目包括以下功能模块：

• 害虫检测：基于 YOLOv8 训练的目标检测模型，支持图片检测、视频检测和摄像头实时检测。
• 检测记录：记录每次检测的图像名称、时间、检测类别和得分。
• 本地搜索形态特征：基于 MySQL 数据库，实现通过害虫名称进行形态特征的查询。
• ChatLLM（大语言模型问答）：通过 LangChain 与大语言模型进行问答。
• 识别结果展示：展示每次检测后的识别结果图片，方便用户查看。

2、基本环境

 本项目主要使用环境：

python - 3.9
mysql - 8.0
pyside6 - 6.7.3
langchain - 0.3.0
langchain_community - 0.3.0
pymysql - 1.1.1
onnxruntime - 1.19.2

 模型通过Yolov8训练，版本号为8.3.61，一般情况下从github下载源码并源码安装即可。在训练过程中，要将训练好的模型导出为onnx格式，在默认情况下支持任意数据集训练好的模型进行目标检测，但需要额外调整与对应模型相关的标签类别。
 大模型问答部分，默认调用的是百度千帆的API，需要自己去百度智能云注册并获取自己的AK和SK，并在chat.py文件中配置。如果您对langchain框架比较熟悉，可以选择其他大模型的API。

3、林业害虫目标检测数据集

 林业害虫目标检测数据集的获取可以查看我的另外一篇博文【FP60】林业害虫数据集——目标检测、图像分类，该数据包含3个不同大小的数据集，要求识别种类丰富且显存富裕可以选择F60，相反可以选择较小的数据集，根据需要进行选择。

4、项目基本功能介绍

4.1、 林业害虫检测

 害虫检测模块是系统的核心功能，利用 YOLOv8 目标检测模型在林业害虫数据集上进行训练，并将训练好的模型导出为onnx格式，方便后续部署。

ONNX（Open Neural Network Exchange）是一个开源的深度学习框架中立格式，旨在为不同深度学习框架之间提供互操作性。它于 2017 年由 Microsoft、Facebook 和 Amazon 等公司联合发布。ONNX 使得开发者能够在不同的框架之间共享模型，消除了框架之间的不兼容问题，简化了模型的迁移、优化和部署过程。通过硬件加速和优化引擎，ONNX 还能够显著提高模型推理性能和降低资源消耗。

 该系统能够对输入的图像、视频或者摄像头实时捕获的画面进行害虫检测。该模块支持多种检测模式，包括：

• 图片检测：用户上传静态图像，系统进行害虫目标检测。
• 视频检测：用户上传视频，系统逐帧处理并检测其中的害虫。
• 摄像头实时检测：系统连接摄像头进行实时视频流处理，实时检测出现的害虫。
  

4.2、检测记录

 每次检测都会生成一个记录，包含图像名称、时间、检测类别和得分信息。通过 PyMySQL，我们可以将每次检测的结果存储到 MySQL 数据库中，方便后续的查询与浏览。
 其次，通过柱状统计图的方式统计了当月检测到的昆虫的数量进行比较，来展示当月出现最多的昆虫科目或类别。

4.3、 形态特征

 在数据库中存储了10个科目的害虫信息，包括、成虫特征、幼虫特征等。用户可以通过输入害虫的科属，快速检索相关信息。这里使用 MySQL 进行数据查询，并返回查询结果。

4.4、 ChatLLM（大语言模型问答）

 ChatLLM 模块使用 LangChain 提供的预训练大语言模型(本项目使用的是Yi-34B-chat)，实现基于自然语言的问答功能。用户可以通过与模型的对话，获取害虫的详细信息、处理建议等。
 学有余力的，这里的语言模型可以更换为通过自己文本数据微调后的大模型，从通用模型变为专用模型。

4.5、 识别结果展示

 每次目标检测后的识别结果都会生成图片，展示检测到的害虫目标。用户可以查看这些图片，进一步分析害虫类型。

5、视频演示

基于YoloV8的林业害虫检测并结合大模型实现问答

点我跳转

6、源码获取

 源码链接，环境配置有问题的小伙伴可以加微信，帮你解决。
 解决问题的过程也是学习的过程嘛，希望大家多多支持！

7、总结

 本项目通过结合 YOLOv8 目标检测技术和 LangChain 大语言模型，成功实现了一个智能的林业害虫检测与问答系统。用户不仅可以通过系统进行实时的害虫检测，还能查询害虫的形态特征和防治措施，甚至与大语言模型进行互动，获取更加详细的信息。这为林业害虫的防治提供了一个高效、智能的解决方案。

 希望这篇文章对你有所帮助，如果你有任何问题，欢迎留言交流！