python可视化、数据描述性统计分析、seanborn、scipy，spsspro必杀

本文链接：https://blog.csdn.net/weixin_48142571/article/details/126215746

最近在学习b站沐神的动手学深度学习课程，进程来到实战kaggle房价预测。准备在数据分析和预处理这部分扩充下自己的实操技能，多学习点python可视化、数据描述性统计分析的方法，了解熟悉下python的一些库。

数据描述性统计分析+可视化

首先载入数据，用pandas的读.csv文件的方法：pd.read_csv("路径")，.read_csv()中的参数选择可以去看官方API，有参数设置可以在读文件时就自定义行列索引。更多的读写文件、文本、二进制数据等的方法可以参考
第06章数据加载、存储与文件格式 - 利用Python进行数据分析·第2版https://seancheney.gitbook.io/python-for-data-analysis-2nd/di-06-zhang-shu-ju-jia-zai-cun-chu-yu-wen-jian-ge-shi
kaggle房价预测的数据，虽然官网给了每列变量的含义，我们还是可以用.info()看一下每列数据的格式，用.shape看一下整个数据集的形状

print(train_data.shape)
print(test_data.shape)
train_data.info()


(1460, 81)
(1459, 80)
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1460 entries, 0 to 1459
Data columns (total 81 columns):
 #   Column         Non-Null Count  Dtype  
---  ------         --------------  -----  
 0   Id             1460 non-null   int64  
 1   MSSubClass     1460 non-null   int64  
 2   MSZoning       1460 non-null   object 
 3   LotFrontage    1201 non-null   float64
 4   LotArea        1460 non-null   int64  
 5   Street         1460 non-null   object 
 6   Alley          91 non-null     object 
 7   LotShape       1460 non-null   object 
 8   LandContour    1460 non-null   object 
 9   Utilities      1460 non-null   object 
 10  LotConfig      1460 non-null   object

这里只显示了部分，可以看到训练集总共有81列，除去ID，有80列，测试集比训练集少个SalePrice列.

数据集中既有int/float型的定量变量，也有object类型的定性变量，我们需要针对不同类型的变量做不同的描述统计
定量数据直方图分析

numeric_features = [feature for feature in train_data.columns if train_data.dtypes[feature] != 'object']
object_features = [feature for feature in train_data.columns if train_data.dtypes[feature] == 'object']
numeric_features.remove('Id')
numeric_features.remove('SalePrice')

numeric = pd.melt(train_data, value_vars=numeric_features)
"""
pd.melt()：将宽数据变成长数据

pd.melt(frame, id_vars=None, value_vars=None, var_name=None, value_name='value', col_level=None)

参数说明：
frame:就是需要处理的数据集df
id_vars：不需要转换的列名
value_vars：需要转换的列名
var_name：自定义列名
value_name：自定义的值的列名
col_level：如果列是MultiIndex，则使用此级别
"""
g=sns.FacetGrid(numeric, col='variable', col_wrap= 4, sharex=False, sharey = False)
g.map(sns.distplot, 'value')