ML：教你聚类并构建学习模型处理数据（附数据集）

翻译： 王雨桐

校对： 顾佳妮

本文约1500字，建议阅读6分钟。

本文以Ames住房数据集为例，对数据进行聚类，并构建回归模型。

摘要

本文将根据41个描述性分类特征的维度，运用无监督主成分分析(PCA)和层次聚类方法对观测进行分组。将数据聚类可以更好地用简单的多元线性模型描述数据或者识别更适合其他模型的异常组。此方法被编写在python类中，以便将来能实现类似网格搜索的参数优化。

结果与讨论

本项目中，我们将机器学习技术应用于Ames住房数据集，用79个解释变量来预测房屋的销售价格，其中包括41个分类变量（分类型变量），38个连续数值变量（连续型变量）。在最初探索性数据分析(EDA)和特征选择的过程中，为了更好地理解数据，我们仅用两个连续变量来拟合数据，以便通过三维散点图反映数据和模型。通过列举38个连续数值变量的所有双变量排列组合并分别拟合线性回归模型，我们选出了两个对销售价格预测能力最强的变量。在考虑整个训练集时，地上居住面积和整体质量参数是最佳的预测指标，但这只解释了房屋销售价73.9%的方差。通过使用41个分类特征来识别数据集内的组群，我们可以将数据集分解为方差更小的子集，并找到更好地描述每个特定房屋子集的模型。

 

附Ames housing数据集：<