海量电力设备监测数据的存储和特征分析

关于海量电力设备监测数据的存储和特征分析的详细教程：

海量电力设备监测数据的存储和特征分析

1 背景知识

电力设备在线监测指在不停电的情况下，对电力设备状况进行连续或周期性地自动监视检测，使用的技术包括：传感器技术、广域通信技术和信息处理技术。电力设备在线监测是实现电力设备状态运行检修管理、提升生产运行管理精益化水平的重要手段，对提升电网智能化水平、实现电力设备状态运行管理具有积极而深远的意义。

随着智能电网建设的推进，电力设备在线监测得到了较大发展并成为趋势，监测数据变得日益庞大，逐渐构成电力设备监测大数据，这给电力设备在线监测系统在数据存储和处理方面带来非常大的技术挑战。

电力设备监测大数据具有体量大、类型多、价值密度低和处理速度快的特点。电网公司监测系统目前过于依赖集中式SAN存储，并基于SOA进行数据集成，主要采用“企业级关系型数据库”，受容量、扩展性以及访问速度的制约，目前只存储二次加工的“熟数据”，而所擅长的关联查询、事务处理在数据分析时又无用武之地，迫切需要新的大数据存储和处理技术来应对。

变压器的局部放电数据是一种典型的电力设备监测数据。局部放电相位分析（phase resolved partial discharge, PRPD）包含了从特征提取到模式识别的过程。本文将全面介绍利用MaxCompute实现局部放电监测数据特征提取的过程。

PD信号分析主要包括三个子过程：（1）基本参数n-q-φ的提取。扫描PD信号，统计信号中的放电峰值和相应的放电相位。（2）谱图构造和统计特征计算。划分相窗，统计平均放电量和放电次数的分布，计算平均放电量相位分布谱图qave-φ和放电次数相位分布谱图n-φ。基于qave-φ和n-φ，以φi为随机变量，计算谱图的偏斜度Sk、陡峭度Ku等统计特征，形成放电特征向量。（3）放电类型识别。本文将介绍，使用MapReduce实现第一个子过程的方法。

MaxCompute(原ODPS) 是阿里云提供的海量数据处理平台。主要服务于批量结构化数据的存储和计算，数据规模达EB级别。MaxCompute目前已在大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析等领域得到大规模应用。

另外，本文还将使用odpscmd作为客户端完成对MaxCompute的各种操作。odpscmd是一个Java程序，可以以命令方式访问MaxCompute。应用该客户端，可以完成包括数据查询、数据上传、下载等各种任务。需要JRE环境才能运行，请下载并安装JRE 1.6+版本。

本文将使用MapReduce编程来完成特征分析的计算任务。MapReduce最早是由Google提出的分布式数据处理模型，随后受到了业内的广泛关注，并被大量应用到各种商业场景中。比如搜索、Web访问日志分析、文本统计分析、海量数据挖掘、机器学习、自然语言处理、广告推荐等。

2 分析过程

2.1 创建项目、建表和数据上传

（1）创建MaxCompute项目

打开阿里云官网：https://www.aliyun.com/

使用已有阿里云账号登录。

进入阿里云管理控制台，并从左侧导航栏选择“大数据（数加）à大数据计算服务”，进入MaxCompute管理控制台。

点击下方的“创建项目”，创建一个新的MaxCompute项目。

选择“I/O后付费”，填入项目名称和项目描述，并“确定”。