在Keras中导入测试数据的方法

Keras里面有很多经典的数据集。当我们研究自己的模型的时候,只需要拿出其中与我们要研究的问题类似的数据集进行试验就行了。比如之前提到的手写数字识别的经典数据集mnist。就只需要一行代码:

(X_train, y_train), (X_test, y_test) = mnist.load_data()
在Keras官网上面有各个常用数据库的导入方法  ,这使得使用这些经典的数据库特别简单。但是我们使用Keras是不完全是为了研究自己的model,还可能是为了解决实际问题。这个时候,我们就要创造自己的数据集,并且把数据集运用到自己的模型之中。

创造数据集是一件比较难的事情。尤其是要创造大量的、靠谱的数据集。通常来说,很多数据集只能通过大公司去收集,而不能自己创造。有的时候我们还是能够自己创造数据集的。例如我们的OCR。我们只需要把字符进行变形就可以生成我们的数据集了。(当然,如果要考虑手写的顺序等问题,这就不够了。)关于生成字符识别数据集

考虑到Keras的输入数据是numpy、float类型,因此我们只需要把图片读入,然后转成numpy就行了。

首先,我们的目录结构是这样的:

./words
  ./0/ 0.png 1.png 2.png ...
   /1/ 0.png 1.png 2.png ...

先写一个读图片的函数,我们用这个函数把Image类型转成numpy类型。

def read_image(imageName):
    im = Image.open(imageName).convert('L')
    data = np.array(im)
    return data

我们创造一个images的列表和labels的列表,用来存图片和对应的结果。接着,我们把图片和它对应的结果读入:

# 读取在words里面有几个文件夹
text = os.listdir('./words')

# 把文件夹里面的图片和其对应的文件夹的名字也就是对应的字
for textPath in text:
    for fn in os.listdir(os.path.join('words', textPath)):
        if fn.endswith('.png'):
            fd = os.path.join('./words', textPath, fn)
            images.append(read_image(fd))
            labels.append(textPath)

接着我们把刚刚得到的images和labels也变成numpy类型。当然,labels首先要变成int类型。

X = np.array(images)
y = np.array(list(map(int, labels)))

最后,我们按三七分把这些分为训练集和测试集。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.30, random_state=30)

数据的导入工作就完成了。这也只对于数据集比较小,对于大数据处理则不行。

若数据集比较大:原来,Keras的训练不仅仅有fit,还有fit_generator,也就是一个一个训练。fit_generator的API如下:

fit_generator(self, generator, steps_per_epoch, epochs=1, verbose=1, callbacks=None, validation_data=None, validation_steps=None, class_weight=None, max_q_size=10, workers=1, pickle_safe=False, initial_epoch=0)

文档是这样写的:

函数的参数是:

  • generator:生成器函数,生成器的输出应该为:
    • 一个形如(inputs,targets)的tuple
    • 一个形如(inputs, targets,sample_weight)的tuple。所有的返回值都应该包含相同数目的样本。生成器将无限在数据集上循环。每个epoch以经过模型的样本数达到samples_per_epoch时,记一个epoch结束
  • steps_per_epoch:整数,当生成器返回steps_per_epoch次数据时计一个epoch结束,执行下一个epoch
  • epochs:整数,数据迭代的轮数
  • verbose:日志显示,0为不在标准输出流输出日志信息,1为输出进度条记录,2为每个epoch输出一行记录
  • validation_data:具有以下三种形式之一
    • 生成验证集的生成器
    • 一个形如(inputs,targets)的tuple
    • 一个形如(inputs,targets,sample_weights)的tuple
  • validation_steps: 当validation_data为生成器时,本参数指定验证集的生成器返回次数
  • class_weight:规定类别权重的字典,将类别映射为权重,常用于处理样本不均衡问题。
  • sample_weight:权值的numpy array,用于在训练时调整损失函数(仅用于训练)。可以传递一个1D的与样本等长的向量用于对样本进行1对1的加权,或者在面对时序数据时,传递一个的形式为(samples,sequence_length)的矩阵来为每个时间步上的样本赋不同的权。这种情况下请确定在编译模型时添加了sample_weight_mode='temporal'。
  • workers:最大进程数
  • max_q_size:生成器队列的最大容量
  • pickle_safe: 若为真,则使用基于进程的线程。由于该实现依赖多进程,不能传递non picklable(无法被pickle序列化)的参数到生成器中,因为无法轻易将它们传入子进程中。
  • initial_epoch: 从该参数指定的epoch开始训练,在继续之前的训练时有用。

这个里面,只有前面六个是比较重要的,其他的默认就行了。甚至我们只需要前面三个就行了。steps_per_epoch和epochs都很好理解。这个generator,也就是生成器函数,才是问题的关键。

接下来就非常简单了。在keras系列︱利用fit_generator最小化显存占用比率/数据Batch化这篇博客里面已经讲得很清楚了。

里面有个demo一般的生成器函数:

def generate_batch_data_random(x, y, batch_size):
    """逐步提取batch数据到显存,降低对显存的占用"""
    ylen = len(y)
    loopcount = ylen // batch_size
    while (True):
        i = randint(0,loopcount)
        yield x[i * batch_size:(i + 1) * batch_size], y[i * batch_size:(i + 1) * batch_size]

这里应该注意的有两点,第一点就是数据必须是要打乱的,没有规律的。第二点就是最后用的是yield。这也是Python的一个高级特性了。简单地说,这就是一个return。但是你每调用一次,它就返回一次,而不像其他函数一样,return了就出去了。这样就成为了一个生成器。具体可以看廖雪峰的Python教程

剩下的就很简单了。我们甚至可以直接在这个生成器函数里面写图片生成的算法。当然,考虑到IO操作肯定比直接生成要快,直接生成肯定是不可取的。

当然,这不是最好的导入数据的方法。Keras还有更快的方法。在介绍这个方法之前,我需要先介绍Keras的图像预处理的方法。

为了防止图像的过拟合,Keras里面自带了图片生成器用来对图像进行一些简单的操作,例如平移,旋转,缩放等等。这样我们就可以在有限的数据集上面生成无限的训练样本。这样可以扩大训练集的大小,防止图像的过拟合。具体的内容可以查看图片生成器的文章。

关键问题不在于这个图片生成,而是这个图片生成器的方法里面提供了一个函数——flow_from_directory(directory)

这个函数的参数如下:

flow_from_directory(directory): 以文件夹路径为参数,生成经过数据提升/归一化后的数据,在一个无限循环中无限产生batch数据

  • directory: 目标文件夹路径,对于每一个类,该文件夹都要包含一个子文件夹.子文件夹中任何JPG、PNG、BNP、PPM的图片都会被生成器使用.详情请查看此脚本
  • target_size: 整数tuple,默认为(256, 256). 图像将被resize成该尺寸
  • color_mode: 颜色模式,为"grayscale","rgb"之一,默认为"rgb".代表这些图片是否会被转换为单通道或三通道的图片.
  • classes: 可选参数,为子文件夹的列表,如['dogs','cats']默认为None. 若未提供,则该类别列表将从directory下的子文件夹名称/结构自动推断。每一个子文件夹都会被认为是一个新的类。(类别的顺序将按照字母表顺序映射到标签值)。通过属性class_indices可获得文件夹名与类的序号的对应字典。
  • class_mode: "categorical", "binary", "sparse"或None之一. 默认为"categorical. 该参数决定了返回的标签数组的形式, "categorical"会返回2D的one-hot编码标签,"binary"返回1D的二值标签."sparse"返回1D的整数标签,如果为None则不返回任何标签, 生成器将仅仅生成batch数据, 这种情况在使用model.predict_generator()model.evaluate_generator()等函数时会用到.
  • batch_size: batch数据的大小,默认32
  • shuffle: 是否打乱数据,默认为True
  • seed: 可选参数,打乱数据和进行变换时的随机数种子
  • save_to_dir: None或字符串,该参数能让你将提升后的图片保存起来,用以可视化
  • save_prefix:字符串,保存提升后图片时使用的前缀, 仅当设置了save_to_dir时生效
  • save_format:"png"或"jpeg"之一,指定保存图片的数据格式,默认"jpeg"
  • flollow_links: 是否访问子文件夹中的软链接

这样,我们导入数据就可以直接使用Keras自带的导入数据的方法了,并且附带了图片的处理。

我们的代码可以这样写:

datagen = ImageDataGenerator(...)

train_generator = datagen.flow_from_directory(  
    './words',
    target_size=(30, 30),
    color_mode='grayscale',
    batch_size=64)

model.fit_generator(train_generator, steps_per_epoch=500, epochs=50)

这样我们就导入了数据了。自此Keras的简单使用已经不成问题。

最后,我们需要注意,最后的导入数据的时候,会自动搜索里面的文件夹,但是是按字典序排序的。这很自然。例如你的文件夹是分类问题,文件夹都是猫、狗、鼠这样的汉字,它当然得按字典序排序。但是如果是像我们用0、1、2、3…这样的数字,就容易让人崩溃。因此我们需要注意在生成文件夹的时候,前面补0,即000、001、003、…、999。

import os
picture_name = os.listdir('./train_chunk2/')

for i in picture_name:
    new_name=i
    if len(i)==1:
        new_name = '00'+i
    elif len(i)==2:
        new_name= '0'+i
    os.rename('./train_chunk2/'+i, './train_chunk2/'+new_name)



阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页