Python统计模型探索性数据分析(EDA)系统(单变量-双变量-相关性-缺失值)

单变量分析

单变量分析旨在更深入地了解单个列。 它创建该列的各种统计数据和可视化。 例如，要深入了解
特征 year_built，要计算year_built 的最小值、最大值、不同计数、中值、方差，并创建一个箱线图来检查异常值，一个正常的 Q-Q 图将其分布与正态分布进行比较。

双变量分析

双变量分析是为了理解两列之间的关系（例如，一个特征和目标）。 有许多可视化来促进理解。 例如，要了解 year_built 和 price 之间的关系，创建一个散点图来检查它们是否具有线性关系，并创建一个 hexbin 图来检查价格在不同年份范围内的分布。

相关性分析

为了选择重要特征或识别冗余特征，通常使用相关性分析。 它计算一个相关矩阵，其中矩阵中的每个单元格代表两列之间的相关性。 相关矩阵可以显示哪些特征与目标高度相关，哪些两个特征彼此高度相关。 例如，如果特征尺寸与目标价格高度相关，那么知道尺寸将揭示很多关于价格的信息，因此它是一个重要的特征。 如果两个特征 city 和 house_type 高度相关，则其中一个特征是冗余的，可以删除。

缺失值分析

数据集缺少值比没有更常见。 数据科学家需要创建定制的可视化来理解缺失值。 例如，可以创建一个条形图，描述每列中缺失值的数量，或者创建一个缺失谱图，以可视化哪些行的缺失值更多。

示例

import matplotlib.pyplot as plt
import seaborn as sns
sns.set(style="whitegrid", color_codes=True)
sns.set(font_scale=1)

houses = pd.read_csv("house-prices/train.csv")
houses.head()

houses_test = pd.read_csv("house-prices/test.csv")
houses_test.head()

plot(houses)

数据相关性

plot_correlation(houses, "SalePrice")
plot_correlation(houses, "SalePrice", value_range=[0.5, 1])

热图

plot_correlation(houses)

源代码

参阅 - 亚图跨际