数据挖掘HeartbeatClassification——特征工程

最新推荐文章于 2021-03-28 23:41:36 发布
最新推荐文章于 2021-03-28 23:41:36 发布
阅读量496 收藏 1
点赞数 1
文章标签： python 机器学习 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32531505/article/details/115055198
版权

这一部分所要讲的是，将收集到的数据进行专项处理，得到一个合理的数据格式，我们后面所要用的模型便能利用这样的数据，通过机器学习的方式进行数学建模。如此一来，挖掘到的数据就变得有价值了，通过这些数字表象找到了背后的意义。本项目是处理的是患者的心跳信号，意义便是建立起来的模型可以对某些病症进行检测。

目录

1.数据预处理

对心电特征进行行转列处理，同时为每个心电信号加入时间步特征time

train_heartbeat_df = data_train["heartbeat_signals"].str.split(",", expand=True).stack()
train_heartbeat_df = train_heartbeat_df.reset_index()
train_heartbeat_df = train_heartbeat_df.set_index("level_0")
train_heartbeat_df.index.name = None
train_heartbeat_df.rename(columns={"level_1":"time", 0:"heartbeat_signals"}, inplace=True)
train_heartbeat_df["heartbeat_signals"] = train_heartbeat_df["heartbeat_signals"].astype(float)
print(train_heartbeat_df)

简单分析一下以上的代码，主要利用pandas的一些处理方法：reset_index(),set_index()

1.1分离再组合

未进行处理以前的"heartbeat_signals"——
在这里插入图片描述

train_heartbeat_df = data_train["heartbeat_signals"].str.split(",", expand=True).stack()
print(train_heartbeat_df)

找到训练数据中"heartbeat_signals"中所对应的列数据，并利用split()函数以“ ， ”，将每一行的数据分开，再利用stack()函数在axis=0这个维度对数据进行堆叠。对stack()的理解可以品读一下这位博主的见解——stack()的理解与使用
处理结果：

0      0      0.9912297987616655
       1      0.9435330436439665
       2      0.7646772997256593
       3      0.6185708990212999
       4      0.3796321642826237
                     ...        
99999  200                   0.0
       201                   0.0
       202                   0.0
       203                   0.0
       204                   0.0
Length: 20500000, dtype: object

1.2 重置索引

这一部分将会使用reset_index()函数，我们可以通过这位博主简单的了解它的作用和使用方法——reset_index()的使用讲解

train_heartbeat_df = data_train["heartbeat_signals"].str.split(",", expand=True).stack()
train_heartbeat_df = train_heartbeat_df.reset_index()
print(train_heartbeat_df)

             level_0  level_1                   0
0               0        0         0.9912297987616655
1               0        1         0.9435330436439665
2               0        2         0.7646772997256593
3               0        3         0.6185708990212999
4               0        4         0.3796321642826237
...           ...      ...                 ...
20499995    99999      200                 0.0
20499996    99999      201                 0.0
20499997    99999      202                 0.0
20499998    99999      203                 0.0
20499999    99999      204                 0.0

[20500000 rows x 3 columns]

1.3 弃用原有索引

将心跳信号的“level_0”所在列的数据作为新的索引，并弃用原有的索引。

 train_heartbeat_df = data_train["heartbeat_signals"].str.split(",", expand=True).stack()
 train_heartbeat_df = train_heartbeat_df.reset_index()
 train_heartbeat_df = train_heartbeat_df.set_index("level_0")
 print(train_heartbeat_df)

level_0        level_1          0               
0              0          0.9912297987616655
0              1          0.9435330436439665
0              2          0.7646772997256593
0              3          0.6185708990212999
0              4          0.3796321642826237
...          ...                 ...
99999        200                 0.0
99999        201                 0.0
99999        202                 0.0
99999        203                 0.0
99999        204                 0.0

[20500000 rows x 2 columns]

1.4 改名

进行列名的更改，并对原表也进行相同的变动（1.3中打印的列名）

train_heartbeat_df = data_train["heartbeat_signals"].str.split(",", expand=True).stack()
train_heartbeat_df = train_heartbeat_df.reset_index()
train_heartbeat_df = train_heartbeat_df.set_index("level_0")
train_heartbeat_df.index.name = None
# inplace=True 表示该处理将会对原表也进行相应的处理；FALSE便是不对原表进行变动
train_heartbeat_df.rename(columns={"level_1": "time", 0: "heartbeat_signals"}, inplace=True)
train_heartbeat_df["heartbeat_signals"]=train_heartbeat_df["heartbeat_signals"].astype(float)
print(train_heartbeat_df)

        time        heartbeat_signals
0         0           0.991230
0         1           0.943533
0         2           0.764677
0         3           0.618571
0         4           0.379632
...     ...                ...
99999   200           0.000000
99999   201           0.000000
99999   202           0.000000
99999   203           0.000000
99999   204           0.000000

[20500000 rows x 2 columns]

1.5 心跳信号改后回填训练集

将处理后的心电特征加入到训练数据中，同时将训练数据label列单独存储。

data_train_label = data_train["label"]
data_train = data_train.drop("label", axis=1)
data_train = data_train.drop("heartbeat_signals", axis=1)
data_train = data_train.join(train_heartbeat_df)
print(train_heartbeat_df)

需要注意一下，这里显示的只是数据首尾的五个数据值，为ID=0 的前五个值和ID=9999 的后五个值

            id		  time	       heartbeat_signals
0			0			0			0.991230
0			0			1			0.943533
0			0			2			0.764677
0			0			3			0.618571
0			0			4			0.379632
...		    ...		    ...		      ...
99999		99999		200		      0.0
99999		99999		201		      0.0
99999		99999		202		      0.0
99999		99999		203			  0.0
99999		99999		204			  0.0

20500000 rows × 4 columns

data_train[data_train["id"]==1]

这里显示了某位就医者的心跳信号，共205个信号值

			id		  time		heartbeat_signals
1			1			0			0.971482
1			1			1			0.928969
1			1			2			0.572933
1			1			3			0.178457
1			1			4			0.122962
...			...			...			...
1			1			200			0.0
1			1			201			0.0
1			1			202			0.0
1			1			203			0.0
1			1			204			0.0

205 rows × 4 columns

2. tsfresh——时间序列特征处理

tsfresh可以自动计算大量的时间序列数据的特征，所谓的特征，即这些特征描述了时间序列的基本特征，如峰数、平均值或最大值或更复杂的特征，如时间反转对称统计。同时通过假设检验来将特征消减到最能解释趋势的特征，称为去相关性。然后，可以使用这些特征集在时间序列上构造统计或机器学习模型，例如在回归或分类任务中使用————引用知乎博主

2.1 pip安装

pip install tsfresh

2.2 特征处理

利用tsfresh包中的extract_features()函数对时间序列数据进行处理。

注意，该过程需要大内存以及好的计算性能来支撑。本人16g内存，在对原数据不进行压缩处理的情况下，内存瞬间占满爆炸，然后报错。

from tsfresh import extract_features
# 特征提取
train_features = extract_features(data_train, column_id='id', column_sort='time')
print(train_features)

id		    sum_values		   abs_energy		   mean_abs_change		       mean_change 			...
0			38.927945			18.216197			0.019894					-0.004859			...
1			19.445634			7.705092			0.019952					-0.004762			...
2			21.192974			9.140423			0.009863					-0.004902			...
...		    ...						...				...								...						...
99997		40.897057			16.412857			0.019470					-0.004538			...
99998		42.333303			14.281281			0.017032					-0.004902			...
99999		53.290117			21.637471			0.021870					-0.004539			...

100000 rows × 779 columns

2.3 去掉处理过程中的NaN值

NaN可能为当前数据不支持此类特征的计算，所以在自动提取的过程中被置为了NaN值。

from tsfresh.utilities.dataframe_functions import impute
# 去除抽取特征中的NaN值
print(impute(train_features))

id			sum_values		   abs_energy		 mean_abs_change		  mean_change 	...
0			38.927945			18.216197			0.019894					-0.004859			...
1			19.445634			7.705092			0.019952					-0.004762			...
2			21.192974			9.140423			0.009863					-0.004902			...
...			...						...						...								...						...
99997		40.897057			16.412857			0.019470					-0.004538			...
99998		42.333303			14.281281			0.017032					-0.004902			...
99999		53.290117			21.637471			0.021870					-0.004539			...

100000 rows × 779 columns

2.4 特征选择

该过程是按照特征和响应变量之间的相关性进行特征选择，这一过程包含两步：首先单独计算每个特征和响应变量之间的相关性，然后利用Benjamini-Yekutieli procedure（如下） 进行特征选择，决定哪些特征可以被保留。

Benjamini, Y. and Yekutieli, D. (2001). The control of the false discovery rate in multiple testing under dependency. Annals of statistics, 1165–1188

from tsfresh import select_features
# 按照特征和数据label之间的相关性进行特征选择
train_features_filtered = select_features(train_features, data_train_label)
prin(train_features_filtered)

id		sum_values		fft_coefficient__attr_"abs"__coeff_35		fft_coefficient__attr_"abs"__coeff_34		...
0			38.927945			1.168685									0.982133																...
1			19.445634			1.460752									1.924501																...
2			21.192974			1.787166									2.1469872																...
...			...						...										...																			...
99997		40.897057			1.190514									0.674603																...
99998		42.333303			1.237608									1.325212																...
99999		53.290117			0.154759								    2.921164																...

100000 rows × 700 columns

请注意 数据的shape，779列经过处理后留下了700列数据特征

Kolo_Tong
关注
【数据挖掘】心跳信号分类预测 之 特征工程 —— 学习笔记（三）
闻韶
03-22 2939
三、特征工程 3.1 看书 常言道，“巧妇难为无米之炊”。在 ML 中，数据和特征将作“米”，模型和算法则为“妇”。若无数量充足的数据、良好表示的特征，再强大的模型也难以得到满意的结果 (garbage in，garbage out)。对于 ML 问题，数据和特征往往决定了结果的上限，而模型、算法的选择及优化则是在逐步接近该上限。 特征工程，顾名思义，是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。在本质上，特征工程是一个表示和展现数据的过程。在实际中，特征工程旨在去除...
数据挖掘：特征工程——特征处理与特征生成
热门推荐
AvenueCyy的博客
02-24 1万+
数据挖掘：特征工程——特征处理与特征构建 这里贴一张网上特征工程的流程，供大家学习。 一、什么是特征工程 特征工程：其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。。就是获取更好的训练数据。主要有两个方面： 获取更好的数据 使机器学习算法达到最优 二、特征工程处理的意义 有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而...
数据挖掘————HeartbeatClassification
小米不害怕的博客
03-25 179
该项目是天池比赛的一个，学习记录。 Task4 建模与调参1（建模） # 导入相关包和相关设置 import pandas as pd import numpy as np from sklearn.metrics import f1_score#精确率和召回率的调和平均数 import os import seaborn as sns import matplotlib.pyplot as plt import warnings warnings.filterwarnings("ignore") #
数据挖掘--Heartbeatclassification
小米不害怕的博客
03-16 311
HeartbeatClassification是天池数据比赛的一道题目。 记录学习过程。 从近几年的各大数据竞赛中可以看到模型融合的身影，本文主要有“十折交叉法”，“lgb"，将数据集分为训练集、验证集、测试集。 导入第三方包： # 导入第三方包 import os import gc import math import pandas as pd import numpy as np import lightgbm as lgb import xgboost as xgb from catboost
HeartbeatClassification Task 5
baidu_36184635的博客
03-28 90
学习地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/HeartbeatClassification Task 5 学习内容：模型融合 第五部分，模型融合。 在结束了以上四个目标之后，我们进入最后的模型融合部分。 基于不同的方向，我们有不同的融合策略： 结果层面的融合 通过对结果得分进行加权融合、log、exp等不同的操作，我们可以对模型进行结果层面的融合。 有一个很重要的条件是模型结果的得分要比较近似
HeartbeatClassification Task 4
baidu_36184635的博客
03-25 99
学习地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/HeartbeatClassification Task 4 学习内容：模型调参 本模块主要学习内容包含以下几个部分： 逻辑回归模型 树模型 集成模型 模型对比与性能评估 模型调参 模型方面，主要介绍了逻辑回归与决策树模型的优缺点，这里不再赘述。集成学习部分从样本选择样例权重预测函数以及并行计算四个方面介绍了Baggin与Boosting的区别。模型对
新闻文本数据挖掘案例——基于词向量化得数据挖掘
11-09
新闻文本数据挖掘案例——基于词向量化得数据挖掘
西电数据挖掘作业——医院数据处理
03-13
总结来说，“西电数据挖掘作业——医院数据处理”是一个综合性的项目，涉及到数据科学的核心技能，包括数据读取、预处理、特征工程、建模和结果可视化。这个项目不仅提升了参与者对Python3和数据挖掘工具的熟练度，...
Heartbeat-Classification-based-Diagnosis:心跳分类和标签
05-12
基于心跳分类的诊断 这是基于机器学习的心跳分类的通用原型。 在ECG中标记每个心跳。 首先执行R峰值检测以定位每个心跳。 然后，每个心跳将由CNN进行分类。 相应的标签将打印在每个R峰的顶部。 CNN使用几千个带标签的节拍进行训练。 缩写列在下面： 正常：正常， AAP：房性早畸形， AP：房性早熟， VE：室性逸出， NE：淋巴结脱离， NP：节点过早， LB：左束支传导阻滞， RB：右束支传导阻滞。 依存关系 张量流 脾气暴躁的 Matplotlib 运行示例 ~$ git clone https://github.com/KChen89/Heartbeat-Classification-based-Diagnosis.git ~$ cd /your folder ~$ python3 hb_classifier.py ecg.dat ~$ python3 hb_classifier.
电费敏感数据挖掘一: 数据处理与特征工程
12-20
目录:一. 数据筛选1.1 读取数据1.2 加入label值1.3 留下一条工单记录的数据1.4 加载通话数据二. 离散值处理2.1 对离散型数值进行编码2.2 数据编码长度所占比例2.3 时间数据处理2.4 用电方式2.5 城市编码2.6 收费信息表数据三. 构建统计特征存下特征 一. 数据筛选 1.1 读取数据 import numpy as np import pandas as pd import csv data_path = r'..\电费敏感预测\rawdata' # 工单信息 file_jobinfo_train = '01_arc_s_95598_wkst_train.tsv
数据挖掘HeartbeatClassification——数据分析
qq_32531505的博客
03-19 619
如同计算机视觉中一样，在训练目标识别的网络之前，会对图片进行预处理，如 裁切，旋转、放大缩小，以加强网络的泛化能力。在数据挖掘中，我们首先要做的就是对拥有的数据进行分析( 涉及到《概率论与数理分析》的知识 )，这里我们可以利用一些好的数据科学库和可视化库如 pandas、numpy、matplotlib等来辅助数据分析的工作。 1.载入需要的各种库 #coding:utf-8 #导入warnings包，利用过滤器来实现忽略警告语句。 import warnings warnings.filterwarnin
Task2 HeartbeatClassification-EDA-数据探索性分析
qq_41133851的博客
03-18 206
Task 2 数据分析 Tip: 此部分为零基础入门数据挖掘的 Task2 EDA-数据探索性分析 部分，带你来了解数据，熟悉数据，和数据做朋友，欢迎大家后续多多交流。 赛题：心电图心跳信号多分类预测 2.1 EDA 目标 EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让
Paper_reading 1 Heartbeat Classification Using Morphological and Dynamic Features of ECG Signals
Reberkah的博客
08-06 561
基于ECG的形态学和动态学特征的心跳分类 摘要： 形态学：小波变换+ICA 动态学：RR间隔特征 对两条导联的ECG信号独立处理，融合两种判别信息。 引言： 描述心跳特征的有：hermite系数、高阶统计特征、小波特征、波形特征 用于分类的算法有：自组织映射SOM、线性判别LDs、决策树、SVM、人工神经网络（ANN）、动态贝叶斯网络、条件随机域（CRF）、 采用的评价方案：class-ori...
数据挖掘HeartbeatClassification——模型融合
qq_32531505的博客
03-28 427
模型融合的目的是进一步加强数据模型的鲁棒性，由单一模型转换到多个模型的协调处理中，yong合的目的是进一步加强数据模型的鲁棒性，由单一模型转换到多个模型的协调处理中，用一句诙谐的话来讲——三个臭皮匠顶个诸葛亮。 这里介绍几个融合的方法——简单加权融合、stacking、blending 1.简单加权融合——分类与回归 1.1 分类 加权平均，就是简单地将多个模型预测的预测值通过赋予相同或者不同的权值，融合为与目标值一样的数据类型（单个分类或多分类），然后用这个融合后的值去与真实的标签作比较得到误差值。 举个
数据挖掘HeartbeatClassification——多分类评价指标
qq_32531505的博客
03-16 381
首先该项目来自 零基础入门数据挖掘-心跳信号分类预测,在该项目中，数据具有多个类型的属性，所以有必要在本文中简单地讲述一下多分类评价指标。 1.多分类评价指标 评价指标：召回率、精确度、准确率、F1分数 多分类与二分类的评价指标有什么不同？其实没什么不同，就是将多分类细分为多个单类，然后再计算各自的指标分数值。这里会使用混淆矩阵，所以先介绍一下它。 1.1混淆矩阵 混淆矩阵： 若一个实例是正类，并且被预测为正类，即为真正类TP(True Positive ) 若一个实例是正类，但是被预测为负类，即为假负类
task05 HeartbeatClassification 模型融合
qq_41133851的博客
03-28 159
import pandas as pd import numpy as np import warnings import matplotlib import matplotlib.pyplot as plt import seaborn as sns from tsfresh import extract_features, select_features warnings.filterwarnings('ignore') %matplotlib inline import itertools im
心跳分类预测——task3 特征工程
weixin_42709143的博客
03-22 215
文章目录一、学习目标二、内容介绍什么是tsfresh？三、特征提取1. 导入包并读取数据2.数据预处理3.使用 tsfresh 进行时间序列特征处理1.特征抽取2.特征选择 一、学习目标 学习时间序列数据的特征预处理方法 学习时间序列特征处理工具 Tsfresh（TimeSeries Fresh）的使用 二、内容介绍 数据预处理 时间序列数据格式处理 加入时间步特征time 特征工程 时间序列特征构造 特征筛选 使用 tsfresh 进行时间序列特征处理 什么是tsfresh？ t.
严澜解读：数据挖掘入门——分词在发现数据价值中的关键
在这个背景下，严澜的"数据挖掘入门——分词"课程为我们揭示了这个过程中的第一步——分词技术。 分词，即自然语言处理中的基本任务之一，它将连续的文本按照语义或语法意义进行切分，将其分解为有意义的词汇单元。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值