数据挖掘实战（1）—— 电力窃漏电用户识别

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！

对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。

作者： wltongxue

博客：https://wltongxue.github.io/

本次学习我们将使用

“什么是数据挖掘”

中的挖掘过程：根据实际问题定义挖掘目标、取什么样的原始数据、对原始数据的探索分析、如何对数据进行处理、建立合适的模型完成目标、评估模型完成的好不好。

问题背景：实际生活中，有很多人可能会偷别人的电用，或者计量电量的设备坏了，造成无法根据实际用电情况计价，可能导致用户多交或少交了钱。我们可以使用自动化设备实现对用户用电负荷等数据进行采集，通过从这个数据中找到异常的情况。

一、挖掘目标

1、归纳出窃漏电用户的关键特征，构建窃漏电用户的识别模型
2、利用实时监测数据，调用窃漏电用户识别模型实现实时判断是否是窃漏电用户。
根据目标可以知道这类问题属于分类预测问题，根据数据预测这个用户属于哪一类用户，到底是正常用户，还是偷电用户？所以我们后面会考虑用分类和预测的算法模型进行建模。

二、数据抽取：

1、从营销系统抽取用户信息
2、从计量自动化系统采集电量、负荷等
如下图，你可以看到能实际采集到的数据如下

三、数据探索：分布分析+周期性分析

探索与预测无关的数据，缩小数据集范围，达到精准预测

1、分布分析

统计5年内所有窃漏用户进行分布分析，统计出各个用电类别的窃漏电用户分布情况，如下图所示，可以发现非居民类别不存在窃漏电情况，故在接下来的分析中不考虑非居民类别的用电数据

2、周期性分析

随机抽取一个正常用电用户和一个窃漏电用户，周期性对电量进行探索。
（1）正常用电，如下图所示，总体来说用电量比较平稳，没有太大的波动。

分析结论：窃漏电的过程就是用电量持续下降的过程。

四、数据预处理

数据本身的样子可能并不适合我们处理，比如跟预测结论没有关系的数据，我们可以过滤掉。比如存在一些缺失值，样本很多的情况下我们就大方的删了，但样本很少的时候，我们就需要把它补上。比如好多个数据之间有明显的关系，我们可以把他们合并为一个数据作为特征明显指标。总之，我们对于数据的预处理目的就是：用尽可能少的数据探索出尽可能精准的结果。
1、缺失值可以删除也可以插补，插补的方法很多，我们这里使用“拉格朗日插值法”进行数据的补充,（该数学推导请看这里）：https://wltongxue.github.io/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E6%8F%92%E5%80%BC%E6%B3%95/

我们这里调用p