数字特征分析包含:相关性分析、查看几个特征的偏度和峰值、每个数字特征的分布可视化、数字特征相互之间的关系可视化、多变量互相回归关系可视化这五个部分。
进行数字特征分析之前,我们需要先安装基础工具、载入数据、定义数字特征。
本文中使用的数据来自天池大赛,零基础入门数据挖掘 - 二手车交易价格预测,地址:https://tianchi.aliyun.com/competition/entrance/231784/information
#coding:utf-8
#导入warnings包,利用过滤器来实现忽略警告语句。
import warnings
warnings.filterwarnings('ignore')
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
##载入训练集和测试集;
Train_data = pd.read_csv('used_car_train_20200313.csv', sep=' ')
Test_data = pd.read_csv('used_car_testA_20200313.csv', sep=' ')
# 分离label即预测值,人为定义数字特征
Y_train = Train_data['price']
numeric_features = ['power', 'kilometer', 'v_0', 'v_1', 'v_2', 'v_3', 'v_4','v_5', 'v_6', 'v_7', 'v_8','v_9', 'v_10', 'v_11','v_12', 'v_13', 'v_14']
一、相关性分析
- 代码
##计算相关系数
numeric_features.append('price')
price_numeric = Train_data[numeric_features]
correlation = price_numeric.corr()
print(correlation['price'].sort_values(ascending = False),'\n')
##画热力图
f , ax = plt.subplots(figsize = (7, 7))
plt.title