数据挖掘 Task2:数据的探索性分析(EDA)
1、载入数据分析和可视化常用库
其他都是我平时常用的库,missingno第一次用,主要是用于直观显示数据集中缺失值的分布以及相关性的。
import pandas as pd
import matplotlib
import matplotlib.pyplot as plt
import numpy as np
import missingno as msno
2、载入数据和观察数据基本特征
读取训练集数据,初步观察数据集规模,数值特性,数据类型等
filepath=r'C:\Users\信息\Desktop\DataWhale 14 天训练营\used_car\used_car_train_20200313.csv'
#打开训练集,查看数据规模,观察特征
train=pd.read_csv(filepath,sep=' ')
print(train.head().append(train.tail()))
print(train.shape)
#总览数据概况
print(train.info())#数据类型
print(train.describe())#数据数值特性
3、判断数据缺失和异常
(1)数据缺失
统计数据有缺失的列,统计缺失个数