Pyhton数据挖掘-电力窃漏电用户的自动识别

电力窃漏电用户的自动识别的笔记：
目标：
1、归纳漏电用户的关键特征，构建漏电用户的model
2、利用事实监控的数据，懂所有的用户进行实时诊断
注意的点：
1、某一些大用户不可能存在漏电行为，例如银行、学校和工商等。
2、漏电用户的窃电开始时间和结束时间是表征其漏电的关键节点，在这些节点上，用户的用电负荷和终端报警数据会有一定的变化。
样本数据抽取是务必包含一定范围的数据，并通过用户的负荷数据计算出当天的用户的用电量。

数据探索分析：
1、分布分析： 所有漏电用户的分布分析，显示每个类别的漏电用户的分布。
2、周期性分析：随机抽取正常用电用户额窃电用户，采用周期性分析对用电量进行探索。

#-*- conding: utf-8 -*-
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.mlab as mlab

# 正常显示中文和正负号
plt.rcParams["font.serif"] = ["SimHei"]
plt.rcParams['axes.unicode_minus'] = False

normalUser = pd.read_csv("data/normalUser.csv")
unnormalUser = pd.read_csv("data/unnormalUser.csv")

normalUser.plot(title=u"正常用电用户的电量趋势",x=normalUser["日期"],figsize=(8,6))
unnormalUser.plot(title=u"漏电用电用户的电量趋势",x=unnormalUser['日期'],figsize=(8,6))                

plt.show()

数据预处理
1、数据清洗：目的是从业务和建模的相关方面考虑，筛选出需要的数据。
1、通过数据探索发现非居民用电类别中不存在漏电的现象，故将非居民类别过滤掉。
2、结合本案例，节假日用电量与工作相比，明显偏低，为了尽可能达到较好的效果，过滤掉节假日的用电数据
2、缺失值处理
1、缺失值少的情况下，一般情况下不会直接去掉数据，而是对缺失值进行填充，这里选择