【scikit-learn】sklearn.datasets.fetch_openml() 函数：获取 OpenML 数据集

本文链接：https://blog.csdn.net/u013172930/article/details/146293632

`sklearn.datasets.fetch_openml()`

fetch_openml() 是 sklearn.datasets 提供的 开放数据集接口，可从 OpenML 平台下载 真实世界数据集，适用于 机器学习研究和模型测试。

1. `fetch_openml()` 作用

访问 OpenML 平台上的数据集，无需手动下载 CSV 文件。
数据可直接用于 Pandas 或 NumPy，兼容 scikit-learn。
适用于分类、回归、聚类任务，数据量大且丰富。

2. `fetch_openml()` 代码示例

(1) 下载 `MNIST` 数据集

from sklearn.datasets import fetch_openml

# 下载 MNIST 数据集
mnist = fetch_openml("mnist_784", version=1, as_frame=False)

# 获取特征矩阵和目标变量
X, y = mnist.data, mnist.target

print("特征矩阵形状:", X.shape)
print("目标变量形状:", y.shape)

输出

特征矩阵形状: (70000, 784)
目标变量形状: (70000,)

解释

X.shape = (70000, 784)：包含 70,000 张 28×28 手写数字图片，每个样本展平成 784 个像素。
y.shape = (70000,)：每个样本的数字标签 (0-9)。

(2) 可视化 `MNIST` 数据

import matplotlib.pyplot as plt
import numpy as np

# 随机选取一张图片
index = np.random.randint(0, 70000)
image = X[index].reshape(28, 28)  # 变回 28×28 图片
label = y[index]

# 显示手写数字
plt.imshow(image, cmap="gray")
plt.title(f"Label: {label}")
plt.show()

解释

X[index].reshape(28, 28)：从 784 维数据恢复 28×28 图片。
plt.imshow() 可视化手写数字。

3. `fetch_openml()` 数据格式

print(type(mnist))

输出

<class 'sklearn.utils._bunch.Bunch'>

解释

fetch_openml() 返回 Bunch 对象，类似于字典，可通过 .data、.target 访问数据。

(3) 转换为 Pandas DataFrame

import pandas as pd

# 下载 Titanic 数据集
titanic = fetch_openml("titanic", version=1, as_frame=True)

# 转换为 DataFrame
df = titanic.frame

print(df.head())

输出

   pclass  survived       name     sex   age  sibsp  parch  ticket     fare  cabin embarked  boat  body home.dest
0       1         1  Allen, Mr  female  29.0      0      0  24160  211.3375     B5        S     2   NaN       NaN
1       1         1  Allison,   female   2.0      1      2  113781  151.5500  C22 C26        S    11   NaN Montreal
2       1         0  Allison,     male  30.0      1      2  113781  151.5500  C22 C26        S   NaN  135.0 Montreal
3       1         0  Allison,     male  25.0      1      2  113781  151.5500  C22 C26        S   NaN   NaN Montreal
4       1         0  Allison,     male  48.0      1      2  113781  151.5500  C22 C26        S   NaN   NaN Montreal

解释

as_frame=True 返回 Pandas DataFrame，适用于数据分析。

4. `fetch_openml()` 参数

fetch_openml(data_id=None, name=None, version="active", as_frame=False, parser="auto", cache=True)

参数	说明
`data_id`	OpenML 数据集 ID（如 `mnist_784`）
`name`	OpenML 数据集名称
`version`	选择数据集的版本
`as_frame`	是否返回 Pandas DataFrame（默认 `False`）
`cache`	是否缓存数据（默认 `True`）

5. 适用场景

获取真实世界数据集，用于分类、回归、聚类任务。
避免手动下载数据，提高实验效率。
可直接用于 scikit-learn 模型训练。

6. `fetch_openml()` vs. 其他数据集

方法	适用情况	作用
`fetch_openml()`	获取真实数据集	访问 OpenML 数据库
`fetch_california_housing()`	房价预测	回归任务
`load_digits()`	手写数字	多分类任务
`load_diabetes()`	糖尿病预测	回归任务