零基础入门数据挖掘——EDA数据探索性分析

零基础入门数据挖掘——EDA数据探索性分析

本篇博客为参加Datawhale零基础入门数据挖掘-Task2 数据分析课程知识的总结

EDA简介

探索性数据分析（Exploratory Data Analysis，简称EDA）

EDA目标

1. EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
2. 当了解了数据集之后就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
3. 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
4. 完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结。

主要内容

1. 载入各种数据科学以及可视化库:数据科学库 pandas、numpy、scipy；
   可视化库 matplotlib、seabon；
   其他；
2. 载入数据：载入训练集和测试集；
   简略观察数据(head()+shape)；
3. 数据总览:
   通过describe()来熟悉数据的相关统计量
   通过info()来熟悉数据类型
4. 判断数据缺失和异常
   查看每列的存在nan情况
   异常值检测
5. 了解预测值的分布
   总体分布概况（无界约翰逊分布等）
   查看skewness and kurtosis
   查看预测值的具体频数
6. 特征分为类别特征和数字特征，并对类别特征查看unique分布
7. 数字特征分析
   相关性分析
   查看几个特征得 偏度和峰值
   每个数字特征得分布可视化
   数字特征相互之间的关系可视化
   多变量互相回归关系可视化
8. 类型特征分析
   unique分布
   类别特征箱形图可视化
   类别特征的小提琴图可视化
   类别特征的柱形图可视化类别
   特征的每个类别频数可视化(count_plot)
9. 用pandas_profiling生成数据报告

代码示例

载入各种数据科学以及可视化库

数据来自于天池官网上的二手车交易价格预测数据，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。
先导入必要的包：

#导入warnings包，利用过滤器来实现忽略警告语句。
import warnings
warnings.filterwarnings('ignore')
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import missingno as msno

载入数据

#读取训练集和测试集
Train_data = pd.read_csv('used_car_train_20200313.csv', sep=' ')
Test_data = pd.read_csv('used_car_testA_20200313.csv', sep=' ')
#简略观察数据(head()+shape)
Train_data.head().append(Train_data.tail())
Test_data.shape

数据形态就不贴了
tip: 要养成看数据集的head()以及shape的习惯

总览数据概况

#过describe()来熟悉数据的相关统计量
Train_data.describe()
Test_data.describe()
#通过info()来熟悉数据类型
Train_data.info()
Test_data.info()

tip：总览数据概况时用到的几个函数，1. describe中有每列的统计量，个数count、平均值mean、方差std、最小值min、中位数25% 50% 75% 、以及最大值。有的时候会发现999 9999 -1 等值这些其实都是nan的另外一种表达方式，需注意
2. info 通过info来了解数据每列的type，有助于了解是否存在除了nan以外的特殊符号异常

判断数据缺失和异常

了解预测值的分布

Train_data['price']
Train_data['price'].value_counts()
#总体分布概况（无界约翰逊分布等）
import scipy.stats as st
y = Train_data['price']
plt.figure(1); plt.title('Johnson SU')
sns.distplot(y, kde=False, fit=st.johnsonsu)
plt.figure(2); plt.title('Normal')
sns.distplot(y, kde=False, fit=st.norm)
plt.figure(3); plt.title('Log Normal')
sns.distplot(y, kde=False, fit=st.lognorm)

不服从正态分布，所以在进行回归之前，它必须进行转换。虽然对数变换做得很好，但最佳拟合是无界约翰逊分布

#查看skewness and kurtosis
sns.distplot(Train_data['price']);
print("Skewness: %f" % Train_data['price'].skew())
print("Kurtosis: %f" % Train_data['price'].kurt())

Train_data.skew(), Train_data.kurt()
sns.distplot(Train_data.skew(),color='blue',axlabel ='Skewness')

sns.distplot(Train_data.kurt(),color='orange',axlabel ='Kurtness')

#查看预测值的具体频数
plt.hist(Train_data['price'], orientation = 'vertical',histtype = 'bar', color ='red')
plt.show()

# log变换 z之后的分布较均匀，可以进行log变换进行预测，这也是预测问题常用的trick
plt.hist(np.log(Train_data['price']), orientation = 'vertical',histtype = 'bar', color ='red') 
plt.show()

特征分为类别特征和数字特征，并对类别特征查看unique分布

数字特征分析