python大数据：实战热水器用户行为识别（二、数据预处理）

最新推荐文章于 2023-03-24 23:50:23 发布
最新推荐文章于 2023-03-24 23:50:23 发布
阅读量2.3k 收藏 12
点赞数 3
分类专栏： python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44315987/article/details/104046095
版权

四、数据预处理

1. 属性归约

因为分析主要对象热水器用户，分析的主要目的为热水器用户洗浴行为的一般规律，所以“热水器编号”属性可以除去；因为“有无水流”可以通过“水流量”属性反映出来，“节能模式”属性取值相同均为“关”，对分析无用，可以去除。

删除“热水器编号”、“有无水流”、“节能模式”后数据如下所示：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline


data = pd.read_excel('../data/original_data.xls')
print('初始状态的数据形状为：', data.shape)
# 删除热水器编号、有无水流、节能模式属性
data.drop(labels=["热水器编号","有无水流","节能模式"],axis=1,inplace=True) 
print('删除冗余属性后的数据形状为：', data.shape)
data.to_csv('../tmp/water_heart.csv',index=False)

初始状态的数据形状为： (18840, 12)
删除冗余属性后的数据形状为： (18840, 9)

2. 划分用水事件

在用水状态记录中水流量不为0，表明热水器用户正在使用热水；而水流量为0时，表明热水器用户用热水时发生了停顿或者用热水结束。对于任何一个用水记录，如果它的向前时差超过了阈值T，则将它记为事件的开始编号；如果它的向后时差超过阈值T，则将其记为时间的结束编号。划分模型的符号说明如下表所示。

符号释义
t 1 t_1 t1​所有水流量不为0的用水行为的发生时间
时间间隔阈值 T T T
data = pd.read_csv('../tmp/water_heart.csv')
# 划分用水事件
threshold = pd.Timedelta('1 min')  # 阈值为4分钟
data['发生时间'] = pd.to_datetime(data['发生时间'], format = '%Y%m%d%H%M%S')  # 转换时间格式
data = data[data['水流量'] > 0]  # 只要流量大于0的记录
sjKs = data['发生时间'].diff() > threshold  # 相邻时间向前差分，比较是否大于阈值
sjKs.iloc[0] = True  # 令第一个时间为第一个用水事件的开始事件
sjJs = sjKs.iloc[1:]  # 向后差分的结果
sjJs = pd.concat([sjJs,pd.Series(True)])  # 令最后一个时间作为最后一个用水事件的结束时间
# 创建数据框，并定义用水事件序列
sj = pd.DataFrame(np.arange(1,sum(sjKs)+1),columns = ["事件序号"])
sj["事件起始编号"] = data.index[sjKs == 1]+1  # 定义用水事件的起始编号
sj["事件终止编号"] = data.index[sjJs == 1]+1  # 定义用水事件的终止编号
print('当阈值为4分钟的时候事件数目为：',sj.shape[0])
sj.to_csv('../tmp/sj.csv',index = False)

当阈值为4分钟的时候事件数目为： 232

3. 确定单次用水事件时长阈值

n = 4  # 使用以后四个点的平均斜率
threshold = pd.Timedelta(minutes=5)  # 专家阈值
data['发生时间'] = pd.to_datetime(data['发生时间'], format='%Y%m%d%H%M%S')
data = data[data['水流量'] > 0]  # 只要流量大于0的记录
# 自定义函数：输入划分时间的时间阈值，得到划分的事件数
def event_num(ts):
    d = data['发生时间'].diff() > ts  # 相邻时间作差分，比较是否大于阈值
    return d.sum() + 1  # 这样直接返回事件数
dt = [pd.Timedelta(minutes=i) for i in np.arange(1, 9, 0.25)]
x = np.arange(1, 9, 0.25)
h = pd.DataFrame(dt, columns=['阈值'])  # 转换数据框，定义阈值列
h['事件数'] = h['阈值'].apply(event_num)  # 计算每个阈值对应的事件数
h['斜率'] = h['事件数'].diff()/0.25  # 计算每两个相邻点对应的斜率
h['斜率指标']= h['斜率'].abs().rolling(4).mean()  # 往前取n个斜率绝对值平均作为斜率指标
h['x'] = x
ts = h['阈值'][h['斜率指标'].idxmin() - n]
# 用idxmin返回最小值的Index，由于rolling_mean()计算的是前n个斜率的绝对值平均
# 所以结果要进行平移（-n）
if ts > threshold:
    ts = pd.Timedelta(minutes=4)
print('计算出的单次用水时长的阈值为：',ts)

plt.rcParams['font.sans-serif'] = 'SimHei'  # 设置中文显示
plt.rcParams['axes.unicode_minus'] = False
# h['事件数'].plot(label = u'事件数', legend = True)
plt.plot(h['x'], h['事件数'])

计算出的单次用水时长的阈值为： 0 days 00:04:00

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EI8DaTjc-1579681968793)(output_5_2.png)]

4. 属性构造

（1）构建用水时长与频率属性

data = pd.read_excel('../data/water_hearter.xlsx',encoding='gbk')  # 读取热水器使用数据记录
sj = pd.read_csv('../tmp/sj.csv')  # 读取用水事件记录
# 转换时间格式
data["发生时间"] = pd.to_datetime(data["发生时间"],format="%Y%m%d%H%M%S")
# 构造特征：总用水时长
timeDel = pd.Timedelta("0.5 sec")
sj["事件开始时间"] = data.iloc[sj["事件起始编号"]-1,0].values- timeDel
sj["事件结束时间"] = data.iloc[sj["事件终止编号"]-1,0].values + timeDel
sj['洗浴时间点'] = [i.hour for i in sj["事件开始时间"]]

### 这里总用水时长感觉不用加1！！！！
sj["总用水时长"] = np.int64(sj["事件结束时间"] - sj["事件开始时间"])/1000000000 + 1

sj.head(10)
事件序号事件起始编号事件终止编号事件开始时间事件结束时间洗浴时间点总用水时长
01332014-10-19 07:01:55.5002014-10-19 07:01:56.50072.0
1257572014-10-19 07:38:15.5002014-10-19 07:38:16.50072.0
233823852014-10-19 09:46:37.5002014-10-19 09:47:15.500939.0
344054052014-10-19 11:50:16.5002014-10-19 11:50:17.500112.0
454084082014-10-19 13:56:20.5002014-10-19 13:56:21.500132.0
564115942014-10-19 15:34:38.5002014-10-19 15:48:46.50015849.0
676136192014-10-19 15:55:14.5002014-10-19 15:55:29.5001516.0
786606662014-10-19 17:23:20.5002014-10-19 17:23:41.5001722.0
896687632014-10-19 17:24:57.5002014-10-19 17:31:32.50017396.0
9107667662014-10-19 17:34:35.5002014-10-19 17:34:36.500172.0
# 构造用水停顿事件
# 构造特征“停顿开始时间”、“停顿结束时间”
# 停顿开始时间指从有水流到无水流，停顿结束时间指从无水流到有水流
for i in range(len(data) - 1):
    if (data.loc[i, "水流量"] != 0) & (data.loc[i + 1, "水流量"] == 0):
        data.loc[i + 1, "停顿开始时间"] = data.loc[i + 1, "发生时间"] - timeDel
    if (data.loc[i, "水流量"] == 0) & (data.loc[i + 1, "水流量"] != 0):
        data.loc[i, "停顿结束时间"] = data.loc[i, "发生时间"] + timeDel
data.head(10)
发生时间开关机状态加热中保温中实际温度热水量水流量加热剩余时间当前设置温度停顿结束时间停顿开始时间
02014-10-19 06:39:17关关关30°C0%00分钟50°CNaTNaT
12014-10-19 07:01:54关关关30°C0%00分钟50°C2014-10-19 07:01:54.500NaT
22014-10-19 07:01:56关关关30°C0%80分钟50°CNaTNaT
32014-10-19 07:12:30关关关30°C0%00分钟50°CNaT2014-10-19 07:12:29.500
42014-10-19 07:12:36关关关29°C0%00分钟50°CNaTNaT
52014-10-19 07:16:02关关关30°C0%00分钟50°CNaTNaT
62014-10-19 07:16:08关关关29°C0%00分钟50°CNaTNaT
72014-10-19 07:20:05关关关30°C0%00分钟50°CNaTNaT
82014-10-19 07:20:10关关关29°C0%00分钟50°CNaTNaT
92014-10-19 07:21:53关关关30°C0%00分钟50°CNaTNaT
# 提取停顿开始时间与结束时间所对应行号，放在数据框Stop中
indStopStart = data.index[data["停顿开始时间"].notnull()]+1
indStopEnd = data.index[data["停顿结束时间"].notnull()]+1
Stop = pd.DataFrame(data={"停顿开始编号":indStopStart[:-1],
                            "停顿结束编号":indStopEnd[1:]}) 
# 计算停顿时长，并放在数据框stop中，停顿时长=停顿结束时间-停顿结束时间
Stop["停顿时长"] = np.int64(data.loc[indStopEnd[1:]-1,"停顿结束时间"].values-
                     data.loc[indStopStart[:-1]-1,"停顿开始时间"].values)/1000000000
Stop.head(10)
停顿开始编号停顿结束编号停顿时长
04561545.0
1583817682.0
23843841.0
33864042130.0
44064071679.0
54094105007.0
645345411.0
7595612286.0
86206595259.0
96676671.0
# 将每次停顿与事件匹配,停顿的开始时间要大于事件的开始时间，
# 且停顿的结束时间要小于事件的结束时间
for i in range(len(sj)):
    Stop.loc[(Stop["停顿开始编号"] > sj.loc[i,"事件起始编号"]) & 
           (Stop["停顿结束编号"] < sj.loc[i,"事件终止编号"]),"停顿归属事件"]=i+1

# 删除停顿次数为0的事件
Stop = Stop[Stop["停顿归属事件"].notnull()]
Stop.head(10)
停顿开始编号停顿结束编号停顿时长停顿归属事件
23843841.03.0
645345411.06.0
16114311431.015.0
20135013501.018.0
21135313531.018.0
23136813681.019.0
24137113711.019.0
25137713771.019.0
32157815781.025.0
41216621661.033.0
# 构造特征 用水事件停顿总时长、停顿次数、停顿平均时长、
# 用水时长，用水/总时长
stopAgg =  Stop.groupby("停顿归属事件").agg({"停顿时长":sum,"停顿开始编号":len})
sj.loc[stopAgg.index - 1,"总停顿时长"] = stopAgg.loc[:,"停顿时长"].values
sj.loc[stopAgg.index-1,"停顿次数"] = stopAgg.loc[:,"停顿开始编号"].values
sj.fillna(0,inplace=True)  # 对缺失值用0插补
stopNo0 = sj["停顿次数"] != 0  # 判断用水事件是否存在停顿
sj.loc[stopNo0,"平均停顿时长"] = sj.loc[stopNo0,"总停顿时长"]/sj.loc[stopNo0,"停顿次数"] 
sj.fillna(0,inplace=True)  # 对缺失值用0插补
sj["用水时长"] = sj["总用水时长"] - sj["总停顿时长"]  # 定义特征用水时长
sj["用水/总时长"] = sj["用水时长"] / sj["总用水时长"]  # 定义特征 用水/总时长
print('用水事件用水时长与频率特征构造完成后数据的特征为：\n',sj.columns)
print('用水事件用水时长与频率特征构造完成后数据的前5行5列特征为：\n',
      sj.iloc[:5,:5])
sj.head(10)

用水事件用水时长与频率特征构造完成后数据的特征为：
 Index(['事件序号', '事件起始编号', '事件终止编号', '事件开始时间', '事件结束时间', '洗浴时间点', '总用水时长',
       '总停顿时长', '停顿次数', '平均停顿时长', '用水时长', '用水/总时长'],
      dtype='object')
用水事件用水时长与频率特征构造完成后数据的前5行5列特征为：
    事件序号  事件起始编号  事件终止编号                  事件开始时间                  事件结束时间
0     1       3       3 2014-10-19 07:01:55.500 2014-10-19 07:01:56.500
1     2      57      57 2014-10-19 07:38:15.500 2014-10-19 07:38:16.500
2     3     382     385 2014-10-19 09:46:37.500 2014-10-19 09:47:15.500
3     4     405     405 2014-10-19 11:50:16.500 2014-10-19 11:50:17.500
4     5     408     408 2014-10-19 13:56:20.500 2014-10-19 13:56:21.500
事件序号事件起始编号事件终止编号事件开始时间事件结束时间洗浴时间点总用水时长总停顿时长停顿次数平均停顿时长用水时长用水/总时长
01332014-10-19 07:01:55.5002014-10-19 07:01:56.50072.00.00.00.02.01.000000
1257572014-10-19 07:38:15.5002014-10-19 07:38:16.50072.00.00.00.02.01.000000
233823852014-10-19 09:46:37.5002014-10-19 09:47:15.500939.01.01.01.038.00.974359
344054052014-10-19 11:50:16.5002014-10-19 11:50:17.500112.00.00.00.02.01.000000
454084082014-10-19 13:56:20.5002014-10-19 13:56:21.500132.00.00.00.02.01.000000
564115942014-10-19 15:34:38.5002014-10-19 15:48:46.50015849.011.01.011.0838.00.987044
676136192014-10-19 15:55:14.5002014-10-19 15:55:29.5001516.00.00.00.016.01.000000
786606662014-10-19 17:23:20.5002014-10-19 17:23:41.5001722.00.00.00.022.01.000000
896687632014-10-19 17:24:57.5002014-10-19 17:31:32.50017396.00.00.00.0396.01.000000
9107667662014-10-19 17:34:35.5002014-10-19 17:34:36.500172.00.00.00.02.01.000000
**（2）构建用水量与波动属性**

data["水流量"] = data["水流量"] / 60 # 原单位L/min，现转换为L/sec
sj["总用水量"] = 0 # 给总用水量赋一个初始值0
for i in range(len(sj)):
    Start = sj.loc[i,"事件起始编号"]-1
    End = sj.loc[i,"事件终止编号"]-1
    if Start != End:
        for j in range(Start,End):
            if data.loc[j,"水流量"] != 0:
                sj.loc[i,"总用水量"] = (data.loc[j + 1,"发生时间"] - 
                                    data.loc[j,"发生时间"]).seconds* \
                                    data.loc[j,"水流量"] + sj.loc[i,"总用水量"]
        sj.loc[i,"总用水量"] = sj.loc[i,"总用水量"] + data.loc[End,"水流量"] * 2
    else:
        sj.loc[i,"总用水量"] = data.loc[Start,"水流量"] * 2 ## 默认单次事件时长为2秒
        
sj["平均水流量"] = sj["总用水量"] / sj["用水时长"] # 定义特征 平均水流量
sj.head(10)
事件序号事件起始编号事件终止编号事件开始时间事件结束时间洗浴时间点总用水时长总停顿时长停顿次数平均停顿时长用水时长用水/总时长总用水量平均水流量
01332014-10-19 07:01:55.5002014-10-19 07:01:56.50072.00.00.00.02.01.0000000.0044440.002222
1257572014-10-19 07:38:15.5002014-10-19 07:38:16.50072.00.00.00.02.01.0000000.0044440.002222
233823852014-10-19 09:46:37.5002014-10-19 09:47:15.500939.01.01.01.038.00.9743590.0850000.002237
344054052014-10-19 11:50:16.5002014-10-19 11:50:17.500112.00.00.00.02.01.0000000.0122220.006111
454084082014-10-19 13:56:20.5002014-10-19 13:56:21.500132.00.00.00.02.01.0000000.0044440.002222
564115942014-10-19 15:34:38.5002014-10-19 15:48:46.50015849.011.01.011.0838.00.9870449.4158330.011236
676136192014-10-19 15:55:14.5002014-10-19 15:55:29.5001516.00.00.00.016.01.0000000.2422220.015139
786606662014-10-19 17:23:20.5002014-10-19 17:23:41.5001722.00.00.00.022.01.0000000.3794440.017247
896687632014-10-19 17:24:57.5002014-10-19 17:31:32.50017396.00.00.00.0396.01.0000002.8991670.007321
9107667662014-10-19 17:34:35.5002014-10-19 17:34:36.500172.00.00.00.02.01.0000000.0044440.002222
# 构造特征：水流量波动
# 水流量波动=∑(((单次水流的值-平均水流量)^2)*持续时间)/用水时长
sj["水流量波动"] = 0 # 给水流量波动赋一个初始值0
for i in range(len(sj)):
    Start = sj.loc[i,"事件起始编号"] - 1
    End = sj.loc[i,"事件终止编号"] - 1
    for j in range(Start,End + 1):
        if data.loc[j,"水流量"] != 0:
            slbd = (data.loc[j,"水流量"] - sj.loc[i,"平均水流量"])**2
            slsj = (data.loc[j + 1,"发生时间"] - data.loc[j,"发生时间"]).seconds
            sj.loc[i,"水流量波动"] = slbd * slsj + sj.loc[i,"水流量波动"]
    sj.loc[i,"水流量波动"] = sj.loc[i,"水流量波动"] / sj.loc[i,"用水时长"] 
sj.head(10)
事件序号事件起始编号事件终止编号事件开始时间事件结束时间洗浴时间点总用水时长总停顿时长停顿次数平均停顿时长用水时长用水/总时长总用水量平均水流量水流量波动
01332014-10-19 07:01:55.5002014-10-19 07:01:56.50072.00.00.00.02.01.0000000.0044440.0022220.000000e+00
1257572014-10-19 07:38:15.5002014-10-19 07:38:16.50072.00.00.00.02.01.0000000.0044440.0022220.000000e+00
233823852014-10-19 09:46:37.5002014-10-19 09:47:15.500939.01.01.01.038.00.9743590.0850000.0022371.522223e-03
344054052014-10-19 11:50:16.5002014-10-19 11:50:17.500112.00.00.00.02.01.0000000.0122220.0061110.000000e+00
454084082014-10-19 13:56:20.5002014-10-19 13:56:21.500132.00.00.00.02.01.0000000.0044440.0022220.000000e+00
564115942014-10-19 15:34:38.5002014-10-19 15:48:46.50015849.011.01.011.0838.00.9870449.4158330.0112364.975237e-06
676136192014-10-19 15:55:14.5002014-10-19 15:55:29.5001516.00.00.00.016.01.0000000.2422220.0151391.681375e-05
786606662014-10-19 17:23:20.5002014-10-19 17:23:41.5001722.00.00.00.022.01.0000000.3794440.0172472.600616e-07
896687632014-10-19 17:24:57.5002014-10-19 17:31:32.50017396.00.00.00.0396.01.0000002.8991670.0073214.286956e-06
9107667662014-10-19 17:34:35.5002014-10-19 17:34:36.500172.00.00.00.02.01.0000000.0044440.0022220.000000e+00
# 构造特征：停顿时长波动
# 停顿时长波动=∑(((单次停顿时长-平均停顿时长)^2)*持续时间)/总停顿时长
sj["停顿时长波动"] = 0 # 给停顿时长波动赋一个初始值0
for i in range(len(sj)):
    if sj.loc[i,"停顿次数"] > 1: # 当停顿次数为0或1时，停顿时长波动值为0，故排除
        for j in Stop.loc[Stop["停顿归属事件"] == (i+1),"停顿时长"].values:
            sj.loc[i,"停顿时长波动"] = ((j - sj.loc[i,"平均停顿时长"])**2) * j + \
                                     sj.loc[i,"停顿时长波动"]
        sj.loc[i,"停顿时长波动"] = sj.loc[i,"停顿时长波动"] / sj.loc[i,"总停顿时长"]

print('用水量和波动特征构造完成后数据的特征为：\n',sj.columns)
print('用水量和波动特征构造完成后数据的前5行5列特征为：\n',sj.iloc[:5,:5])
sj.head(10)

用水量和波动特征构造完成后数据的特征为：
 Index(['事件序号', '事件起始编号', '事件终止编号', '事件开始时间', '事件结束时间', '洗浴时间点', '总用水时长',
       '总停顿时长', '停顿次数', '平均停顿时长', '用水时长', '用水/总时长', '总用水量', '平均水流量', '水流量波动',
       '停顿时长波动'],
      dtype='object')
用水量和波动特征构造完成后数据的前5行5列特征为：
    事件序号  事件起始编号  事件终止编号                  事件开始时间                  事件结束时间
0     1       3       3 2014-10-19 07:01:55.500 2014-10-19 07:01:56.500
1     2      57      57 2014-10-19 07:38:15.500 2014-10-19 07:38:16.500
2     3     382     385 2014-10-19 09:46:37.500 2014-10-19 09:47:15.500
3     4     405     405 2014-10-19 11:50:16.500 2014-10-19 11:50:17.500
4     5     408     408 2014-10-19 13:56:20.500 2014-10-19 13:56:21.500
事件序号事件起始编号事件终止编号事件开始时间事件结束时间洗浴时间点总用水时长总停顿时长停顿次数平均停顿时长用水时长用水/总时长总用水量平均水流量水流量波动停顿时长波动
01332014-10-19 07:01:55.5002014-10-19 07:01:56.50072.00.00.00.02.01.0000000.0044440.0022220.000000e+000.0
1257572014-10-19 07:38:15.5002014-10-19 07:38:16.50072.00.00.00.02.01.0000000.0044440.0022220.000000e+000.0
233823852014-10-19 09:46:37.5002014-10-19 09:47:15.500939.01.01.01.038.00.9743590.0850000.0022371.522223e-030.0
344054052014-10-19 11:50:16.5002014-10-19 11:50:17.500112.00.00.00.02.01.0000000.0122220.0061110.000000e+000.0
454084082014-10-19 13:56:20.5002014-10-19 13:56:21.500132.00.00.00.02.01.0000000.0044440.0022220.000000e+000.0
564115942014-10-19 15:34:38.5002014-10-19 15:48:46.50015849.011.01.011.0838.00.9870449.4158330.0112364.975237e-060.0
676136192014-10-19 15:55:14.5002014-10-19 15:55:29.5001516.00.00.00.016.01.0000000.2422220.0151391.681375e-050.0
786606662014-10-19 17:23:20.5002014-10-19 17:23:41.5001722.00.00.00.022.01.0000000.3794440.0172472.600616e-070.0
896687632014-10-19 17:24:57.5002014-10-19 17:31:32.50017396.00.00.00.0396.01.0000002.8991670.0073214.286956e-060.0
9107667662014-10-19 17:34:35.5002014-10-19 17:34:36.500172.00.00.00.02.01.0000000.0044440.0022220.000000e+000.0
胖虎卖汤圆
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
数据预处理全攻略：基于SQL、R与Python的实战源码
03-25
项目概述：《数据预处理全攻略：基于SQL、R与Python的实战源码》是一个综合性项目，主要以Python语言为核心，同时融入了R和SQL的实践应用。该项目包含了191个文件，涵盖了从入门到实战的数据预处理全流程。具体文件...
数据预处理
weixin_65259109的博客
03-13 3782
两者都关系是拉格朗日插值法是一种比较基础的插值法，平常使用的时候SciPy库中的拉格朗日函数即可。缺失值处理的方法可以分为三类：删除记录、不处理、数据插补三中。数据清洗主要进行删除一些数据，处理一些异常数据等到工作。主要分为缺失值处理和异常值处理两种。数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约。插补方法1：用一大坨数据的均值或中位数或众数进行缺失值的插补。插补方法3：用这个缺失的值最近的那个值进行插补。将异常值视为缺失值，按照缺失值的处理办法处理。插补方法2：使用固定的一个值进行插补。
python大数据分析——属性规约
KasenBob的博客
10-08 2675
属性规约通过属性合并或者删除不相关的属性来减少数据维数，寻找出最小的属性子集并确保数据子集的概率分布尽可能地接近原来数据集的概率分布。 1.常用方法 2.主成分分析： 3.代码实现 #-*- coding: utf-8 -*- #主成分分析 降维 import pandas as pd #参数初始化 inputfile = 'D:/Code/Need/principal_com...
数据处理之属性规约（主成分分析）
zjlamp的博客
08-06 4843
属性规约的目的是寻找出最小的属性子集，并确保新数据子集的概率分布尽可能地接近原来数据集的概率分布。 方法包括合并属性、主成分分析等。 主成分分析是数据规约（包含属性规约和数值规约）的一种常用方法。用较少的变量去解释原始数据中的大部分变量，即将许多相关性很高的变量转化成彼此相互独立或不相关的变量。 主成分分析，当自变量之间不是相互独立时，能够将自变量变换成独立的成分；在自变量太多的情况下，能够...
数据预处理—8.属性归约之主成分分析(理论及python实现)
柳杰的博客
03-31 838
文章目录1.主成分分析介绍2.主成分分析计算步骤3.PCA常用参数介绍4.PCA实战 1.主成分分析介绍   主成分分析是一种用于连续属性的数据降维方法，它构造了原始数据的一个正交变换，新空间的基底去除了原始空间基底下数据的相关性，只需使用少量新变量就能够解释原始数据中大部分的变异。在应用中，通常是选出比原始变量个数少，能解释大部分数据中的变量的几个新变量来代替原始变量建模。 2.主成分分析计算步骤 3.PCA常用参数介绍 from sklearn.decomposition import PCA
DMP数据处理之统一用户识别
小小明-代码实体的专栏
02-21 1万+
项目背景与需求 DMP项目介绍 随着互联网的发展，互联网的广告推送逐渐诞生了AdNetwork（广告网络）、AdExchange和DSP 需求方平台。 互联网的广告资源非常丰富，除了微博，微信这样的大平台外，很多小媒体也能够提供大量优质的广告位。大量的小媒体组成了一个很大的盘子，于是有AdNetwork平台为对接广告主和媒体，为广告主提供统一的界面，联络多家媒体, 行成统一的定价。 但AdNetwork 不止一家，小媒体们会选择不同的 AdNetwork，很多广告主依然面临选择困难。很多优质媒体由于不满意A
python大数据入门数据集.txt
09-25
python大数据入门数据集.txtpython大数据入门数据集.txtpython大数据入门数据集.txtpython大数据入门数据集.txtpython大数据入门数据集.txtpython大数据入门数据集.txtpython大数据入门数据集.txtpython大数据入门...
Python金融大数据风控建模实战：基于机器学习+源代码+文档说明
最新发布
11-09
<项目介绍> 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！...
python数据预处理方式 :数据降维
12-20
数据为何要降维 数据降维可以降低模型的计算量并减少模型运行时间、降低噪音变量信息对于模型结果的影响、便于通过可视化方式展示归约后的维度信息并减少数据存储空间。因此，大多数情况下，当我们面临高维数据时，...
Python金融大数据风控建模实战.zip
09-22
源码
数据预处理的四个步骤
qq_53724742的博客
10-24 2万+
数据预处理的四个步骤
rda冗余分析步骤_利用BP神经网络算法进行用户行为分析（三）
weixin_39683163的博客
12-10 382
泰迪学院公众号ID：taidixueyuan还未阅读第一篇的小可爱,在这里可以直接跳转利用BP神经网络算法进行用户行为分析(一)利用BP神经网络算法进行用户行为分析(二)数据预处理1.属性规约由于热水器采集的用水数据属性较多，本案例做以下处理。因分析的主要对象为用户，分析的主要目标为用户的洗浴行为的一般规律，所以“热水器编号”属性可以去除；因热水器采集的数据中，“有无水流”属性可以通过...
python数据分析与挖掘实战(家用热水器用户行为分析与事件识别）
m0_61463713的博客
03-24 1122
居民在使用家用热水器的过程中，会因为地区气候、不同区域和用户年龄性别差异等原因形成不同的使用习惯。家用企业若能深入了解其产品在不同用户群的使用习惯，开发符合客户需求何时哦那个习惯的功能，就能开拓新市场。本篇文章将依据BP神经网络算法构建洗浴事件识别模型，进而对不同地区的用户的洗浴事件进行识别，然后根据识别结果比较不同客户群提供最合适的个性化产品，改进新产品的智能化研发并制定相应的营销策略。
系统学习机器学习之特征工程（一）--维度归约
工作笔记
12-18 2万+
这里，我们讨论特征选择和特征提取，前者选取重要的特征子集，后者由原始输入形成较少的新特征，理想情况下，无论是分类还是回归，我们不应该将特征选择或特征提取作为一个单独的进程，分类或者回归方法应该能够利用任何必要的特征，而丢弃不相关的特征。但是，考虑到算法存储量和时间的复杂度，或者输入不必要的特征等原因，还是需要降维。较简单的模型在小数据上更为鲁棒，有小方差，模型的变化更依赖于样本的特殊性，包括噪声，...
数据集成、数据变换、维度归约、属性子集选择
wanpi931014的博客
06-06 4986
1、数据集成：将多个数据源中的数据合并并存放在一个一致的数据仓库中。 数值属性数据判断重复：计算属性A和属性B的相关系数。其中相关系数在[-1,1]之间，若相关系数大于0且值越大说明相关性越强，若相关系数等于0说明相互独立不存在相关性，若小于0说明负相关。 离散属性A和B之间的相关关系可以通过卡方检验，自由度为（r-1）（c-1）,其中A的c个值构成列，B的r个值构成行。 属性冗余还可能是因
数据预处理-数据规约-属性规约
见贤思齐
08-04 2553
原数据： #-*- coding: utf-8 -*- import pandas as pd from sklearn.decomposition import PCA #PCA主成分分析函数 inputfile = '../data/principal_component.xls' outoutfile = './dimention_reducted.xls' #降维后...
时序信号的时域、频域、时-频域特征提取
热门推荐
华少的博客
12-28 2万+
工业时序信号的时域、频域和时-频域特征提取方法总结
时域、频域、时频特征提取技术
u011661076的博客
04-21 1万+
文章来源于微信公众号（茗创科技），欢迎有兴趣的朋友搜索关注。 一、时域特征提取技术 当我们想要研究一个生物信号时，有时从原始信号中获取的信息并不明显。因此，需要提取一些特征来表示信号。可以研究代表信号波形的特征，也可以把信号的样本看作是来自随机源，因此可以得到一个分布，从中提取信息。通过分析它们在这个分布中的统计特性，或者在某些情况下的混沌行为，可以从混沌分形理论中进行测量。下面列出了一些提取原始生物电信号(时域)特征的最流行的方法。 1、从波形中提取特征：提取的最直接的特征是可以直接从信号中
python大数据实战项目
09-08
Python大数据实战项目是指使用Python语言进行大数据处理和分析的项目。这种项目通常涉及到使用Python的相关库和工具，如Pandas、Numpy、Matplotlib等，来处理和分析大规模的数据。在这样的项目中，可以使用Python来进行数据清洗、数据预处理、数据挖掘、机器学习和可视化等任务。 引用中提到了一个基于Python实现的整个项目分析的流程，包括数据预处理、数据可视化、数据挖掘和数据建模等步骤。这个项目还使用了自定义的LRFMP模型来进行用户画像分析，并以词云的形式展示出来。 引用中提到了十大Python经典就业练手项目，这些项目贴合企业的用人标准，可以帮助想入坑Python或者正在学习Python的人们提升就业竞争力。 引用中指出了Python的流行原因之一是它简单易学，吸引了大量程序员的关注和学习。在Python的就业方向中，大数据领域是一个重要的方向之一。Python可以用于大数据分析、数据挖掘和机器学习等任务，在这些项目中处理和分析大规模的数据。 引用中提到了一些大数据实战项目的练习目标，包括数据分析和数据挖掘、Jupyter notebook的使用、Numpy矩阵和随机数生成、Pandas的数据结构和操作、数据的可视化等。 因此，大数据实战项目是指使用Python进行大规模数据处理和分析的项目，可以涉及数据预处理、数据挖掘、机器学习和可视化等任务。这些项目可以帮助人们提升Python编程能力，并在大数据领域中找到就业机会。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值