波士顿房价数据集是一个经典的回归数据集,最初由美国国立卫生研究院(NIH)提供,现已成为机器学习和统计学习的常用数据集之一。该数据集主要用于探索性数据分析、回归模型构建以及学习如何识别特征与目标变量之间的关系。
1. 数据集目的
波士顿房价数据集的主要目的是预测波士顿地区的房价。该数据集包含多个特征变量,这些特征反映了不同区域的社会经济特征,这些特征可能与房价相关。
2. 数据集特点
样本数量: 506个样本。
特征数量: 13个特征变量,描述了不同的社会经济和环境因素。
目标变量: 房屋的中位数价格(MEDV),以千美元为单位。
3. 特征变量
波士顿房价数据集包含以下特征:
3.1 CRIM: 每人犯罪率。
3.2 ZN: 住宅用地超过 25,000 平方英尺的比例。
3.3 INDUS: 每个城镇非零售商用土地的比例。
3.4 CHAS: 查尔斯河的虚拟变量(如果靠近河流,值为1;否则为0)。
3.5 NOX: 一氧化氮浓度(以部分百万计)。
3.6 RM: 每个住宅的平均房间数。
3.7 AGE: 1940年之前建成的自用房屋的比例。
3.8 DIS: 距离波士顿五个中心区域的加权距离。
3.9 RAD: 高速公路可达性指数。
3.10 TAX: 每 $10,000 的财产税率。
3.11 PTRATIO: 城镇的小学师生比例。
3.12 B: 1000(Bk - 0.63)²,其中 Bk 是属于黑人的比例。
3.13 LSTAT: 低收入人口的比例(以百分比表示)。
4. 目标变量
MEDV: 该地区房屋的中位数价格,以千美元为单位。
5. 数据集使用场景
波士顿房价数据集常用于以下场景:
回归模型的培训和测试: 适合初学者进行线性回归、岭回归、LASSO 回归等模型的构建和评估。
数据可视化: 通过散点图、热力图等可视化分析特征与房价之间的关系。
特征工程: 学习如何通过特征选择和特征变换来改善模型性能。
6. 伦理问题
需要注意的是,该数据集已经受到了一些伦理争议,尤其是使用了可能引发偏见的特征(如 B 变量,即与黑人比例相关的特征)。因此,在使用此数据集时,需要关注数据的社会影响和伦理性,并谨慎解释结果。
7. 替代数据集
由于上述伦理问题,`scikit-learn` 计划逐步移除波士顿房价数据集。建议采用房价的现代数据集,如加利福尼亚房价数据集(`fetch_california_housing`),该数据集在现代实践中使用更为广泛,且不涉及敏感的社会经济特征。
8. 数据加载
在 `scikit-learn` 中,可以通过以下代码加载波士顿房价数据集:
from sklearn.datasets import load_boston
# 加载数据集
boston = load_boston()
# 获取特征和目标变量
X = boston.data # 特征数据
y = boston.target # 目标数据
# 获取特征名称
feature_names = boston.feature_names
9. 结论
波士顿房价数据集是机器学习和数据分析领域的重要学习资料,适合教学、实践和探索回归模型的基本原理与技术。本数据集虽然简单易用,但在实际应用中须注意相关的伦理问题。