题目来源:
《Python数据分析与应用》第5章
【 黄红梅、张良均主编 中国工信出版集团和人民邮电出版社】
本博客题目文字主要来自:
全能扫描王文字识别转换(敲题目是不可能去敲题目的)
数据集下载链接(下载后找到第6章->实训数据)
实训1 插补用户用电量数据缺失值
1.训练要点
(1)掌握缺失值识别方法。
(2)掌握对缺失值数据处理的方法。
2、需求说明
用户用电量数据呈现一定的周期性关系, missing data.csv表中存放了用户A、用户B和用户C的用电量数据,其中存在缺失值,需要进行缺失值插补才能进行下一步分析。
3.实现思路及步骤
(1)读取 missinne_data. csv表中的数据。
(2)查询缺失值所在位置。
(3)使用 SciPy库中 interpolate模块中的 lagrange对数据进行拉格朗日插值。
(4)查看数据中是否存在缺失值,若不存在则说明插值成功。
#实训1 插补用户用电量数据缺失值
import pandas as pd
import numpy as np
arr=np.array([0,1,2])
missing_data=pd.read_csv("./实训数据/missing_data.csv",names=arr)
#查询缺失值所在位置
print("lagrange插值前(False为缺失值所在位置)",'\n',missing_data.notnull())
#拉格朗日插值
#dropna().index用于记录非缺失值的下标
#dropna().values用于记录非缺失值的实际值
from scipy.interpolate import lagrange
for i in range(0,3): #"训练"lagrange模型 la=lagrange(missing_data.loc[:,i].dropna().index,missing_data.loc[:,i].dropna().values) #list_d用于记录当前列缺失值所在的行(记录缺失值下标) list_d=list(set(np.arange(0,21)).difference(set(missing_data.loc[:,i].dropna().index))) #将缺失值list_d带入训练好的模型,并填入对应的位置 missing_data.loc[list_d,i]=la(list_d) print("第%d列缺失值的个数为:%d"%(i,missing_data.loc[:,i].isnull().sum()))
print("lagrange插值后(False为缺失值所在位置)","\n",missing_data.notnull())1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
实训2 合并线损、用电量趋势与线路告警数据
1.训练要点
(1)掌握主键合并的几种方法。
(2)掌握多个键值的主键合并。
2.需求说明
线路线损数据、线路用电量趋势下降数据和线路告警数据是识别用户窃漏电与否的
个重要特征,需要对由线路编号(ID)和时间(date)两个键值构成的主键进行合并。
3.实现思路及步骤
(1)读取 ele_loss. csv和 alarm csy表。
(2)查看两表的形状。
(3)以ID和date两个键值作为主键进行内连接。
4)查看合并后的数据。
#实训2 合并线损、用电量趋势与线路告警数据
import pandas as pd
ele_loss=pd.read_csv("./实训数据/ele_loss.csv")
alarm=pd.read_csv("./实训数据/alarm.csv", encoding='gbk')
#查看两个表的形状
print("ele_loss表的形状为",ele_loss.shape)
print("alarm表的形状为",alarm.shape)
#合并后的数据
merge=pd.merge(ele_loss,alarm,left_on=["ID","date"],right_on=["ID","date"],how="inner")
print("合并后的表形状为:",merge.shape)
print("合并后的表为:",merge)1
2
3
4
5
6
7
8
9
10
11
实训3 标准化建模专家样本数据
1.训练要点
(1)掌握数据标准化的原理
(2)掌握数据标准化的方法。
2.需求说明
算法的种类非常多,一旦涉及空间距离计算、梯度下降等,就必须进行标准化处理对线路线损特征、线路用电量趋势下降特征、线路告警特征进行标准化。
3.实现思路及步骤
(1)读取model.csv数据。
(2)定义标准差标准化函数。
(3)使用函数分别对3列数据进行标准化。
(4)查看标准化后的数据
#实训3 标准化建模专家样本数据
import pandas as pd
model=pd.read_csv("./实训数据/model.csv",encoding = "gbk")
def Standard(data): data=(data-data.mean())/data.std() return data
S=Standard(model)
print("标准化后的数据为:",'\n',S.head())
'''
#离差标准化函数
def MinMaxScale(data): data=(data-data.min())/(data.max()-data.min()) return data
M=MinMaxScale(model)
print("离差标准化后的数据为:",'\n',S.head())
#小数定标差标准化函数
def DecimalScaler(data): data=data/10**np.ceil(np.log10(data.abs().max())) return data
D=DecimalScaler(model)
print("小数定标差标准化的数据为:",'\n',D.head())'''1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
三种标准化各有其优势,离差标准化方法简单,便于理解,标准化后的数据限定在[0,1]区间内。标准差标准化受数据分布的影响较小。小数定标标准化方法的适用范围广,并且受数据分布的影响较小,相比较于前两种方法,该方法适用程度适中。
文章来源: blog.csdn.net,作者:Vivid-victory,版权归原作者所有,如需转载,请联系作者。
原文链接:blog.csdn.net/qq_41856733/article/details/103438911