多模态大模型通过外接数据方案实现电力智能巡检（附代码）

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

1. 大模型应用向开发路径：AI代理工作流
2. 大模型应用开发实用开源项目汇总
3. 大模型问答项目问答性能评估方法
4. 大模型数据侧总结
5. 大模型token等基本概念及参数和内存的关系
6. 大模型应用开发-华为大模型生态规划
7. 从零开始的LLaMA-Factory的指令增量微调
8. 基于实体抽取-SMC-语义向量的大模型能力评估通用算法（附代码）
9. 基于Langchain-chatchat的向量库构建及检索（附代码）
10. 一文教你成为合格的Prompt工程师
11. 最简明的大模型agent教程
12. 批量使用API调用langchain-chatchat知识库能力
13. langchin-chatchat部分开发笔记（持续更新）
14. 文心一言、讯飞星火、GPT、通义千问等线上API调用示例
15. 大模型RAG性能提升路径
16. langchain的基本使用
17. 结合基础模型的大模型多源信息应用开发
18. COT：大模型的强化利器
19. 多角色大模型问答性能提升策略（附代码）
20. 大模型接入外部在线信息提升应用性能
21. 从零开始的Dify大模型应用开发指南
22. 基于dify开发的多模态大模型应用（附代码）
23. 基于零一万物多模态大模型通过外接数据方案优化图像文字抽取系统
24. 快速接入stable diffusion的文生图能力
25. 多模态大模型通过外接数据方案实现电力智能巡检（设计方案）

---

---

需求介绍

传统电网智能巡检锚定摄像机点位，将一系列点位组成巡检业务，通过yolo对一系列点位上传来的系列图像进行目标检测，发现预训练所设定的label后计为异常，最后返回巡检报告，报告内容包括点位总体异常占比、异常类型分布、异常置信度等等。
易知，该模式下，巡检颗粒度止步异常类型，其只起到异常检测的作用，对更详细的异常处理方案、该异常点位负责人、该异常点位相关信息等等信息未能更好利用。【事实上该问题我已在https://blog.csdn.net/qq_43128256/article/details/137204652一文中提出了解决方案】
此外，该模式下，其异常评估标准单一，识别模式较弱。例如，对于工装检查，传统yolo模式检测下，往往简单地将长袖归为正常，将短袖、卷袖一律视为不正常，这与实际判别逻辑存在一定距离。这是由于yolo小模型目标检测上能力的局限带来的。

解决方案

多模态大模型的相关能力和应用开发可参考我的系列文章：

https://blog.csdn.net/qq_43128256/article/details/138163078
https://blog.csdn.net/qq_43128256/article/details/138337768
https://blog.csdn.net/qq_43128256/article/details/138574623

本文想说的是，多模态大模型完全具备很强的图像理解能力，且完全可通过agent组多步利用其语义理解和逻辑推理能力，结合外接信息，对图像进行综合分析，实现 更高颗粒度下的异常巡检，以更贴合实际逻辑的标准进行识别。

简而言之多模态大模型通过外接数据方案实现电力智能巡检，是 结合多源信息的多模态大模型应用开发。设计思路如下，在巡检过程中，不单单只应用到图像数据。

巡检结果，具体如下图所示：

多模态大模型

1. 可利用文本对齐能力，对图像进行描述
2. 可通过检测要求（利用prompt进行规范），对图片重点部分进行检测
3. 可结合外部信息（脚本加载，嵌入query），与检测结果综合分析
4. 最终给出隐患描述、隐患级别、整改措施等结论

其实现可参考往期代码，利用dify开发比较简单。

多模态大模型在线试用

https://huggingface.co/spaces/HuggingFaceM4/idefics2_playground

实例代码

import pandas as pd
import numpy as np
from datetime import datetime
import sqlite3
import openai
from openai import OpenAI

API_BASE = "https://api.lingyiwanwu.com/v1"
API_KEY = ""

client = OpenAI(
    # defaults to os.environ.get("OPENAI_API_KEY")
    api_key=API_KEY,
    base_url=API_BASE
)

def get_dcandlc(input_data:str):
    camera_node = input_data
    # 连接到SQLite数据库（如果不存在，它将被创建）  
    conn = sqlite3.connect('db.sqlite3')  
    # 创建一个Cursor对象  
    cursor = conn.cursor()  
    # 查询并读取数据  
    cursor.execute("SELECT * FROM camera_node_table WHERE camera_code = {input_data_1}".format(input_data_1 = '"'+camera_node+'"'))  
    rows = cursor.fetchall()  
    # 关闭数据库连接  
    conn.close()
    # 打印查询结果 
    if len(rows) == 1:
        return rows[0][1],rows