心跳信号分类预测Task02EDA-数据探索性分析

1.EDA目标

• 熟悉数据集、了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
• 了解变量间的相互关系以及变量与预测值之间的存在关系。
• 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
• 完成对于数据的探索性分析。

2.学习内容

• 载入各种数据科学以及可视化库:
  数据科学库 pandas、numpy、scipy；
  可视化库 matplotlib、seabon；
• 载入数据：
  载入训练集和测试集；
  简略观察数据(head()+shape)；
• 数据总览:
  通过describe()来熟悉数据的相关统计量
  通过info()来熟悉数据类型
• 判断数据缺失和异常
  查看每列的存在nan情况
  异常值检测
• 了解预测值的分布
  总体分布概况
  查看skewness and kurtosis
  查看预测值的具体频数

3.具体代码

3.1 载入各种数据科学与可视化库

#coding:utf-8
#导入warnings包，利用过滤器来实现忽略警告语句。
import warnings
warnings.filterwarnings('ignore')
import missingno as msno
import pandas as pd
from pandas import DataFrame, Series
import matplotlib.pyplot as plt 
import seaborn as sns
import numpy as np
import scipy.stats as st
import pandas_profiling

missingno：提供了一个灵活且易于使用的缺失数据可视化和实用程序的小工具集，使用户可以快速直观地总结数据集的完整性。
Seaborn：一种基于matplotlib的图形可视化python libraty。它提供了一种高度交互式界面，便于用户能够做出各种有吸引力的统计图表。

3.2 载入训练集和测试集

导入训练集train.csv以及testA.csv（将两个文件与python文件放在同一目录下，否则需要输入绝对路径）

Train_data = pd.read_csv('./train.csv')
Test_data = pd.read_csv('./testA.csv')

所