加载keras内置dataset在线下载出错——使用下载好的数据集

最新推荐文章于 2024-06-27 10:55:55 发布

紫薯真好吃

最新推荐文章于 2024-06-27 10:55:55 发布

阅读量2.7k

点赞数 1

分类专栏： tensoflow

本文链接：https://blog.csdn.net/ftfy123/article/details/105324497

版权

本文分析了keras在加载cifar10数据集时遇到的在线下载失败问题，指出当C:Userssunxu.kerasdatasets路径下没有cifar-10-batches-py.tar.gz文件时，keras会尝试联网下载。解决方案是提前将下载好的数据集文件放置到指定路径，以确保keras能正确加载数据集。

摘要由CSDN通过智能技术生成

1、原因分析：

keras中cifar10.py模块的load_data（），其中的path = get_file(dirname, origin=origin, untar=True)将从默认的 C:\Users\sunxu\.keras\datasets 路径下返回数据集路径，如果该路径下有cifar-10-batches-py.tar.gz文件则不用从网上在线下载，否则将会联网下载（数据集100多兆，可能下载不成功）

keras中的cifar10.py模块

"""CIFAR10 small images classification dataset.
"""
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

from .cifar import load_batch
from ..utils.data_utils import get_file
from .. import backend as K
import numpy as np
import os


def load_data():
    """Loads CIFAR10 dataset.

    # Returns
        Tuple of Numpy arrays: `(x_train, y_train), (x_test, y_test)`.
    """
    dirname = 'cifar-10-batches-py'
    origin = 'https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz'
    path = get_file(dirname, origin=origin, untar=True)

    num_train_samples = 50000

    x_train = np.empty((num_train_samples, 3, 32, 32), dtype='uint8')
    y_train = np.empty((num_train_samples,), dtype='uint8')

    for i in range(1, 6):
        fpath = os.path.join(path, 'data_batch_' + str(i))
        (x_train[(i - 1) * 10000: i * 10000, :, :, :],
         y_train[(i - 1) * 10000: i * 10000]) = load_batch(fpath)

    fpath = os.path.join(path, 'test_batch')
    x_test, y_test = load_batch(fpath)

    y_train = np.reshape(y_train, (len(y_train), 1))
    y_test =