python缺失值可视化

以阿里二手车交易价格预测训练数据为例

#coding:utf-8
#导入warnings包，利用过滤器来实现忽略警告语句。
import warnings
warnings.filterwarnings('ignore')

import pandas as pd
import matplotlib.pyplot as plt
import missingno as msno

## 1) 载入训练集和测试集；
path = 'D:\python_test\二手车价格预测/data/'
Train_data = pd.read_csv(path+'used_car_train_20200313.csv', sep=' ')

# nan可视化
missing = Train_data.isnull().sum()
missing = missing[missing > 0]
missing.sort_values(inplace=True)
missing.plot.bar()
plt.show()
'''
了解哪些列存在 “nan”, 并可以把nan的个数打印，
主要的目的在于 nan存在的个数是否真的很大，如果很小一般选择填充，
如果使用lgb等树模型可以直接空缺，让树自己去优化，
但如果nan存在的过多、可以考虑删掉
'''

# 可视化看下缺省值
'''
白线越多，代表缺失值越多。
'''
msno.matrix(Train_data.sample(250))
plt.show()

msno.bar(Train_data.sample(1000))
plt.show()