Keras Model类中的fit()与fit_generator()、predict()与predict_generator()

最新推荐文章于 2024-05-21 16:07:28 发布

一只干巴巴的海绵

最新推荐文章于 2024-05-21 16:07:28 发布

阅读量8.2k

点赞数 7

分类专栏：深度学习框架

本文链接：https://blog.csdn.net/Hanx09/article/details/107288878

版权

深度学习框架专栏收录该内容

15 篇文章 1 订阅

订阅专栏

模型训练

fit()

fit(x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None, 
	validation_split=0.0, validation_data=None, shuffle=True,class_weight=None, 
	sample_weight=None, initial_epoch=0, steps_per_epoch=None,validation_steps=None)

x=None：训练数据的 Numpy 数组（如果模型只有一个输入），或者是 Numpy 数组的列表（如果模型有多个输入）。如果模型中的输入层被命名，你也可以传递一个字典，将输入层名称映射到 Numpy 数组。如果从本地框架张量馈送（例如 TensorFlow 数据张量）数据，x 可以是 None（默认）。
y=None：训练数据label标签的 Numpy 数组（如果模型只有一个输出），或者是 Numpy 数组的列表（如果模型有多个输出）。如果模型中的输出层被命名，你也可以传递一个字典，将输出层名称映射到 Numpy 数组。如果从本地框架张量馈送（例如 TensorFlow 数据张量）数据，y 可以是 None（默认）。
batch_size=None ：整数或 None。每次梯度更新的样本数。如果未指定，默认为 32。
epochs=1：整数。训练模型迭代轮次。一个轮次是在整个 x 和 y 上的一轮迭代。请注意，与 initial_epoch 一起，epochs 被理解为最终轮次。模型并不是训练了 epochs 轮，而是到第 epochs 轮停止训练，训练了epochs-initial_epochs轮。
verbose=1： 0, 1 或 2。日志显示模式。 0 = 安静模式，不在标准输出流输出日志信息； 1 = 进度条，输出进度条记录； 2 = 每轮一行，为每个epoch输出一行记录。
callbacks=None：list，list中的元素为keras.callbacks.Callback实例，在训练过程中会调用list中的回调函数。
validation_split=0： 0和1之间的浮点数，用作验证集的训练数据的比例。将训练集中的一部分比例作为验证集，并将在每一轮结束时评估这些验证数据的误差和任何其他模型指标。
validation_data=None：元组(x_val，y_val)或元组 (x_val，y_val，val_sample_weights)，用来评估损失，以及在每轮结束时的任何模型度量指标。模型将不会在这个数据上进行训练。这个参数会覆盖 validation_split。
shuffle=True：布尔值（是否在每轮迭代之前混洗数据）或者字符串 (batch)。 batch 是处理 HDF5 数据限制的特殊选项，它对一个 batch 内部的数据进行混洗。当 steps_per_epoch 非 None 时，这个参数无效。
class_weight=None：可选的字典，用来映射类索引（整数）到权重（浮点）值，用于加权损失函数（仅在训练期间）。这可能有助于告诉模型更多关注来自代表性不足的类的样本：分类问题的时候，有的类别可能需要额外关注，分错的时候给的惩罚会比较大，所以权重会调高。
sample_weight=None：训练样本的可选 Numpy 权重数组，用于对损失函数进行加权（仅在训练期间）。您可以传递与输入样本长度相同的平坦（1D）Numpy 数组（权重和样本之间的 1:1 映射），或者在时序数据的情况下，可以传递尺寸为 (samples, sequence_length) 的 2D 数组，以对每个样本的每个时间步施加不同的权重。在这种情况下，你应该确保在 compile() 中指定 sample_weight_mode=“temporal”。
initial_epoch=0：整数。如果之前做了训练，则可以从指定的epoch开始训练。
steps_per_epoch=None：整数或 None。在声明一个轮次完成并开始下一个轮次之前的总步数（样品批次），即将一个epoch分为多少个steps，也就是划分一个batch_size多大，不能和batch_size共同使用。使用 TensorFlow 数据张量等输入张量进行训练时，默认值 None 等于数据集中样本的数量除以 batch 的大小，如果无法确定，则为 1。
validation_steps=None：当steps_per_epoch被启用的时候才有用，验证集的batch_size。
**kwargs ：用于和后端交互。

返回
一个 History 对象。其 History.history 属性是连续 epoch 训练损失和评估值，以及验证集损失和评估值的记录（如果适用）。

fit_generator()

使用 Python 生成器（或 Sequence 实例）逐批生成的数据，按批次训练模型。
生成器与模型并行运行，以提高效率。例如，这可以让你在 CPU 上对图像进行实时数据增强，以在 GPU 上训练模型。

fit_generator(generator, steps_per_epoch=None, epochs=1, verbose=1, callbacks=None, 
			validation_data=None, validation_steps=None, class_weight=None,
			max_queue_size=10, workers=1, use_multiprocessing=False, shuffle=True,
			initial_epoch=0)

generator：一个生成器，或者一个 Sequence (keras.utils.Sequence) 对象的实例，以在使用多进程时避免数据的重复。生成器的输出应该为以下之一：
- 一个 (inputs, targets) 元组
- 一个 (inputs, targets, sample_weights) 元组。
这个元组（生成器的单个输出）组成了单个的 batch。因此，这个元组中的所有数组长度必须相同（与这一个 batch 的大小相等）。不同的 batch 可能大小不同。例如，一个 epoch 的最后一个 batch 往往比其他 batch 要小，如果数据集的尺寸不能被 batch size 整除，生成器将无限地在数据集上循环。当运行到第 steps_per_epoch 时，记一个 epoch 结束。
steps_per_epoch：在声明一个 epoch 完成并开始下一个 epoch 之前从 generator 产生的总步数（批次样本）。它通常应该等于你的数据集的样本数量除以批量大小。对于 Sequence，它是可选的：如果未指定，将使用len(generator) 作为步数。
epochs：整数。训练模型的迭代总轮数。一个 epoch 是对所提供的整个数据的一轮迭代，如 steps_per_epoch 所定义。注意，与 initial_epoch 一起使用，epoch 应被理解为最后一轮。模型没有经历由 epochs 给出的多次迭代的训练，而仅仅是直到达到索引 epoch 的轮次。
verbose： 0, 1 或 2。日志显示模式。 0 = 安静模式, 1 = 进度条, 2 = 每轮一行。
callbacks： keras.callbacks.Callback 实例的列表。在训练时调用的一系列回调函数。
validation_data: 它可以是以下之一：
- 验证数据的生成器或 Sequence 实例
- 一个 (inputs, targets) 元组
- 一个 (inputs, targets, sample_weights) 元组。
  在每个 epoch 结束时评估损失和任何模型指标。该模型不会对此数据进行训练。
validation_steps：仅当 validation_data 是一个生成器时才可用。在停止前 generator 生成的总步数（样本批数）。对于 Sequence，它是可选的：如果未指定，将使用 len(generator) 作为步数。
class_weight：可选的将类索引（整数）映射到权重（浮点）值的字典，用于加权损失函数（仅在训练期间）。这可以用来告诉模型更多地关注来自代表性不足的类的样本。
max_queue_size：整数。生成器队列的最大尺寸。如未指定，max_queue_size 将默认为 10。
workers：整数。使用的最大进程数量，如果使用基于进程的多线程。如未指定，workers 将默认为 1。如果为 0，将在主线程上执行生成器。
use_multiprocessing：布尔值。如果 True，则使用基于进程的多线程。如未指定， use_multiprocessing 将默认为 False。请注意，由于此实现依赖于多进程，所以不应将不可传递的参数传递给生成器，因为它们不能被轻易地传递给子进程。
shuffle：是否在每轮迭代之前打乱 batch 的顺序。只能与 Sequence (keras.utils.Sequence) 实例同用。
initial_epoch：开始训练的轮次（有助于恢复之前的训练）。

返回
一个 History 对象。其 History.history 属性是连续 epoch 训练损失和评估值，以及验证集损失和评估值的记录（如果适用）。

1. generator：Python生成器

def generate_arrays_from_file(path):
    while True:
        with open(path) as f:
            for line in f:
            # 从文件中的每一行生成输入数据和标签的 numpy 数组，
            x1, x2, y = process_line(line)
            yield ({'input_1': x1, 'input_2': x2}, {'output': y})
        f.close()

model.fit_generator(generate_arrays_from_file('/my_file.txt'),
                    steps_per_epoch=10000, epochs=10)

先用一个函数generate_arrays_from_file作为一个生成器，这个生成器可以一点点地在目录文件夹里抓数据，然后包装数据喂给模型。缺点是不太方便设置batch_size。

2. 生成器：keras Sequence实例

#coding=utf-8
import keras
import math
import os
import cv2
import numpy as np
from keras.models import Sequential
from keras.layers import Dense


class DataGenerator(keras.utils.Sequence):
    
    def __init__(self, datas, batch_size=1, shuffle=True):
        self.batch_size = batch_size
        self.datas = datas
        self.indexes = np.arange(len(self.datas))
        self.shuffle = shuffle

    def __len__(self):
        #计算每一个epoch的迭代次数
        return math.ceil(len(self.datas) / float(self.batch_size))

    def __getitem__(self, index):
        #生成每个batch数据，这里就根据自己对数据的读取方式进行发挥了
        # 生成batch_size个索引
        batch_indexs = self.indexes[index*self.batch_size:(index+1)*self.batch_size]
        # 根据索引获取datas集合中的数据
        batch_datas = [self.datas[k] for k in batch_indexs]

        # 生成数据
        X, y = self.data_generation(batch_datas)

        return X, y

    def on_epoch_end(self):
        #在每一次epoch结束是否需要进行一次随机，重新随机一下index
        if self.shuffle == True:
            np.random.shuffle(self.indexes)

    def data_generation(self, batch_datas):
        images = []
        labels = []

        # 生成数据
        for i, data in enumerate(batch_datas):
            #x_train数据
            image = cv2.imread(data)
            image = list(image)
            images.append(image)
            #y_train数据 
            right = data.rfind("\\",0)
            left = data.rfind("\\",0,right)+1
            class_name = data[left:right]
            if class_name=="dog":
                labels.append([0,1])
            else: 
                labels.append([1,0])
        #如果为多输出模型，Y的格式要变一下，外层list格式包裹numpy格式是list[numpy_out1,numpy_out2,numpy_out3]
        return np.array(images), np.array(labels)
    
# 读取样本名称，然后根据样本名称去读取数据
class_num = 0
train_datas = []  
for file in os.listdir("D:/xxx"):
    file_path = os.path.join("D:/xxx", file)
    if os.path.isdir(file_path):
        class_num = class_num + 1
        for sub_file in os.listdir(file_path):
            train_datas.append(os.path.join(file_path, sub_file))

# 数据生成器
training_generator = DataGenerator(train_datas)

#构建网络
model = Sequential()
model.add(Dense(units=64, activation='relu', input_dim=784))
model.add(Dense(units=2, activation='softmax'))
model.compile(loss='categorical_crossentropy',
              optimizer='sgd',
              metrics=['accuracy'])
model.compile(optimizer='sgd', loss='categorical_crossentropy', metrics=['accuracy'])

model.fit_generator(training_generator, epochs=50,max_queue_size=10,workers=1)

新建一个基于Sequence的子类，比如MnistSequence，子类必须继承__getitem__和__len__这两个类方法，因为这两个类方法是fit_generator读取数据的接口。
实例化新建子类，再输入到fit_generator中。
用Sequence子类可以实现将数据整理成数据序列，排序喂入模型。可以继续在子类里添加读取文件夹的函数分批次获取数据，然后可以实现如python生成器一样的效果。同时，还可以添加任意预处理函数。

预测

predict()

为输入样本生成输出预测，计算是分批进行的。

predict(x, batch_size=None, verbose=0, steps=None)

x：输入数据，Numpy 数组（或者 Numpy 数组的列表，如果模型有多个输出）。
batch_size：整数。如未指定，默认为 32。
verbose：日志显示模式，0 或 1。
steps：声明预测结束之前的总步数（批次样本）。默认值 None。

返回
预测的 Numpy 数组（或数组列表）。

predict_generator()

为来自数据生成器的输入样本生成预测。

predict_generator(generator, steps=None, max_queue_size=10, workers=1,
				  use_multiprocessing=False, verbose=0)

generator：生成器，返回批量输入样本，或一个 Sequence (keras.utils.Sequence) 对象的实例，以避免在使用多进程时数据的重复。
steps：在声明一个 epoch 完成并开始下一个 epoch 之前从 generator 产生的总步数（批次样本）。它通常应该等于你的数据集的样本数量除以批量大小。对于 Sequence，它是可选的：如果未指定，将使用len(generator) 作为步数。
max_queue_size：生成器队列的最大尺寸。
workers：整数。使用的最大进程数量，如果使用基于进程的多线程。如未指定，workers 将默认为 1。如果为 0，将在主线程上执行生成器。
use_multiprocessing：如果 True，则使用基于进程的多线程。请注意，由于此实现依赖于多进程，所以不应将不可传递的参数传递给生成器，因为它们不能被轻易地传递给子进程。
verbose：日志显示模式，0 或 1。

返回
预测值的 Numpy 数组（或数组列表）。

Keras中文文档
 keras数据自动生成器，继承keras.utils.Sequence，结合fit_generator实现节约内存训练
 Keras中的fit和fit_generator

一只干巴巴的海绵

关注

7
点赞
踩
63

收藏

觉得还不错? 一键收藏
0
评论
Keras Model类中的fit()与fit_generator()、predict()与predict_generator()

Keras Model类中的fit()与fit_generator()、predict()与predict_generator()，函数详细参数
复制链接

扫一扫

专栏目录