原题目地址:零基础入门数据挖掘-心跳信号分类预测
本文是鸣鹤星空小组组队学习的集体成果。
id:李由,一只小呆
1 EDA 目标
- EDA的价值主要在于熟悉数据集,了解数据集,对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
- 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
- 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
- 完成对于数据的探索性分析,并对于数据进行一些图表或者文字总结并打卡。
2 内容介绍
2.1 载入各种数据科学以及可视化库:
- 数据科学库 pandas、numpy、scipy;
- 可视化库 matplotlib、seabon;
2.2载入数据:
- 载入训练集和测试集;
- 简略观察数据(head()+shape);
2.3数据总览:
- 通过describe()来熟悉数据的相关统计量
- 通过info()来熟悉数据类型
2.4判断数据缺失和异常:
- 查看每列的存在nan情况
- 异常值检测
2.5了解预测值的分布
- 总体分布概况
- 查看skewness and kurtosis
- 查看预测值的具体频数
3 代码和运行截图
1.载入各种数据科学与可视化库
#coding:utf-8
import warnings
warnings.filterwarnings('ignore')
import missingno as msno
import pandas as pd
from pandas import DataFrame,Series
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np
2.载入训练集和测试集
Train_data = pd.read_csv('./data/train.csv')
Test_data = pd.read_csv('./data/testA.csv')
3.观察训练集和测试集首尾数据
Train_data.head().append(Train_data.tail())
id | heartbeat_signals | label | |
---|---|---|---|
0 | 0 | 0.9912297987616655,0.9435330436439665,0.764677... | 0.0 |
1 | 1 | 0.9714822034884503,0.9289687459588268,0.572932... | 0.0 |
2 | 2 | 1.0,0.9591487564065292,0.7013782792997189,0.23... | 2.0 |
3 | 3 | 0.9757952826275774,0.9340884687738161,0.659636... | 0.0 |
4 | 4 | 0.0,0.055816398940721094,0.26129357194994196,0... | 2.0 |
99995 | 99995 | 1.0,0.677705342021188,0.22239242747868546,0.25... | 0.0 |
99996 | 99996 | 0.9268571578157265,0.9063471198026871,0.636993... | 2.0 |
99997 | 99997 | 0.9258351628306013,0.5873839035878395,0.633226... | 3.0 |
99998 |