昇思MindSpore生态伙伴优秀方案巡展|上海电力大学“基于边缘视觉检测的变电站缺陷运维大模型”

本文链接：https://blog.csdn.net/Kenji_Shinji/article/details/144791675

在昇腾AI创新大赛（上海赛区——高校赛道）中，上海电力大学烛龙智巡团队基于边缘视觉检测的变电站缺陷运维大模型脱颖而出，荣获上海区域高校赛道金奖以及全国高校赛道优秀奖。

我国“双碳”大背景持续推进，国家对新型电力系统的改革提出了“安全高效、智慧融合”的要求。国网积极响应，近年来智能化电力设备的增速高达15%，并对于作为电网枢纽的变电站提出了加强电力设备运维保障和加强科技创新支撑两部分指示。因此利用人工智能相关技术结合边缘端设备的智能化运维模式需求激增，基于边缘视觉检测的变电站缺陷运维大模型孕育而生，对于电力行业提高运维效率、降低运维成本，为电力行业的数字化转型提供了有力支撑。

烛龙智巡团队用昇思MindSpore架构结合Atlas系列边缘算力硬件打造的基于边缘视觉的变电站缺陷运维大模型，不仅弥补了电力场景下的缺陷尺寸不一、识别场景复杂等问题，并且结合电力维修大模型实现端到端的一站式开发，解决了后期运维痛点。

面向多尺度目标的电力缺陷检测进化式算法

由于巡检过程中目标缺陷在图像中呈现的大小和距离各不相同，通过引入了面向多尺度目标的电力缺陷检测进化式算法来解决目标尺度不一造成的准确率下降问题。加入了ECA注意力机制，同时在特征金字塔中进行跨尺度连接和上下文信息，并引入了一些Transformer的离散参数来增强小目标的语义信息和特征表示。此技术充分发挥了MindSpore架构自动微分和自动并行的特性，以此来增强模型对于多尺度目标，尤其是小目标的识别准确率。

基于轻量化网络的电力缺陷检测边缘端模型

考虑到电力巡检场景下边缘端部署及现有模型检测速度慢等问题，基于轻量化网络的电力缺陷检测边缘端模型，在网络中采用FasterNet Block对C2f中的Bottleneck模块进行重构，并引入EMA注意力机制构建C2f_EMA，减少参数量，提高检测速度，与此同时，借助MindSpore提供的模型轻量化技术，进一步减少模型参数的数量，得益于MindSpore和Atlas 200DK A2模型在边缘端也可以实现高效推理。

基于LoRA微调的多模态电力维修大模型

为了更加精准利用边缘端AI传输回来的缺陷识别信息，采用LLaVA模型通过LoRA实现了电力设备缺陷运维大模型的微调，进一步采用RAG实现本地知识库的构建，丰富电力设备缺陷的运维知识，从而调用专属电力设备缺陷大模型来进行电力设备缺陷的评估以及维修指导。

此次通过与上海昇腾人工智能生态创新中心产教融合，基于上海电力大学能源电力特色学科互织互融以及国家电网培训中心的特色国网实践教学成功实现教学转化。通过在CANN架构上部署深度边缘模型，利用昇思MindSpore框架自动微分和自动并行的特性以及Atlas 200DK A2高效的推理性能对变电站设备实现了自主智能巡检，开发了专属的电力设备缺陷运维大模型，显著提高了检测效率和准确性，有效降低维护成本和安全风险。目前已申请了6项发明专利并撰写了两篇SCI论文，其中包括SCI一区论文一篇。