keras basic FAQ

keras中文网站

https://github.com/keras-team/keras-docs-zh

 

1、"sample", "batch", "epoch" 分别是什么？

      为了正确地使用 Keras，以下是必须了解和理解的一些常见定义：

• Sample: 样本，数据集中的一个元素，一条数据。
  • 例1: 在卷积神经网络中，一张图像是一个样本。
  • 例2: 在语音识别模型中，一段音频是一个样本。
• Batch: 批次，含有 N 个样本的集合。每一个 batch 的样本都是独立并行处理的。在训练时，一个 batch 的结果只会用来更新一次模型。
  • 一个 batch 的样本通常比单个输入更接近于总体输入数据的分布，batch 越大就越近似。然而，每个 batch 将花费更长的时间来处理，并且仍然只更新模型一次。在推理（评估/预测）时，建议条件允许的情况下选择一个尽可能大的 batch，（因为较大的 batch 通常评估/预测的速度会更快）。
• Epoch: 轮次，通常被定义为「在整个数据集上的一轮迭代」One cycle through the entire training dataset is called a training epoch，用于训练的不同的阶段，这有利于记录和定期评估。
  • 当在 Keras 模型的 fit 方法中使用 validation_data 或 validation_split 时，评估将在每个 epoch 结束时运行。

      在深度学习中，经常要设置以下几个数据：nEpoch , iteration , batchSIze:

1）batchSize 代表在做随机梯度下降时，使用批梯度的数量，即每次使用batchSize个数据来更新参数。

2）1个iteration等于使用batchSize个样本训练一次

3）1个nEpoch等于使用所有样本训练一次

       举个例子，训练集有1000个样本，batchsize=10，那么，训练完整个样本集需要：100次iteration  为1次epoch。简单说 epochs=1 就是完整训练整个样本1次，epochs=2 就是完整训练整个样本2次。

 

2、如何保存 Keras 模型？

1）保存/加载整个模型（结构 + 权重 + 优化器状态）

不建议使用 pickle 或 cPickle 来保存 Keras 模型。

你可以使用 model.save(filepath) 将 Keras 模型保存到单个 HDF5 文件中，该文件将包含：

• 模型的结构，允许重新创建模型
• 模型的权重
• 训练配置项（损失函数，优化器）
• 优化器状态，允许准确地从你上次结束的地方继续训练。

你可以使用 keras.models.load_model(filepath) 重新实例化模型。load_model 还将负责使用保存的训练配置项来编译模型（除非模型从未编译过）。

示例：

from keras.models import load_model

model.save('my_model.h5')  # 创建 HDF5 文件 'my_model.h5'
del model  # 删除现有模型

# 返回一个编译好的模型
# 与之前那个相同
model = load_model('my_model.h5')

2）只保存/加载模型的结构

如果您只需要保存模型的结构，而非其权重或训练配置项，则可以执行以下操作：

# 保存为 JSON
json_string = model.to_json()

# 保存为 YAML
yaml_string = model.to_yaml()

生成的 JSON/YAML 文件是人类可读的，如果需要还可以手动编辑。

你可以从这些数据建立一个新的模型：

# 从 JSON 重建模型：
from keras.models import model_from_json
model = model_from_json(json_string)

# 从 YAML 重建模型：
from keras.models import model_from_yaml
model = model_from_yaml(yaml_string)

3）只保存/加载模型的权重

如果您只需要 模型的权重，可以使用下面的代码以 HDF5 格式进行保存。

请注意，我们首先需要安装 HDF5 和 Python 库 h5py，它们不包含在 Keras 中。

model.save_weights('my_model_weights.h5')

假设你有用于实例化模型的代码，则可以将保存的权重加载到具有相同结构的模型中：

model.load_weights('my_model_weights.h5')

如果你需要将权重加载到不同的结构（有一些共同层）的模型中，例如微调或迁移学习，则可以按层的名字来加载权重：

model.load_weights('my_model_weights.h5', by_name=True)

示例：

"""
假设原始模型如下所示：
    model = Sequential()
    model.add(Dense(2, input_dim=3, name='dense_1'))
    model.add(Dense(3, name='dense_2'))
    ...
    model.save_weights(fname)
"""

# 新模型
model = Sequential()
model.add(Dense(2, input_dim=3, name='dense_1'))  # 将被加载
model.add(Dense(10, name='new_dense'))  # 将不被加载

# 从第一个模型加载权重；只会影响第一层，dense_1
model.load_weights(fname, by_name=True)

 

3、如何获取中间层的输出？

一个简单的方法是创建一个新的 Model 来输出你所感兴趣的层（该方法实测可行）：

from keras.models import Model

model = ...  # 创建原始模型

layer_name = 'my_layer'
intermediate_layer_model = Model(inputs=model.input,
                                 outputs=model.get_layer(layer_name).output)
intermediate_output = intermediate_layer_model.predict(data)

或者，你也可以构建一个 Keras 函数，该函数将在给定输入的情况下返回某个层的输出，例如：

from keras import backend as K

# 以 Sequential 模型为例
get_3rd_layer_output = K.function([model.layers[0].input],
                                  [model.layers[3].output])
layer_output = get_3rd_layer_output([x])[0]

同样，你可以直接建立一个 Theano 或 TensorFlow 函数。

注意，如果你的模型在训练和测试阶段有不同的行为（例如，使用 Dropout, BatchNormalization 等），则需要将学习阶段标志传递给你的函数：

get_3rd_layer_output = K.function([model.layers[0].input, K.learning_phase()],
                                  [model.layers[3].output])

# 测试模式 = 0 时的输出
layer_output = get_3rd_layer_output([x, 0])[0]

# 测试模式 = 1 时的输出
layer_output = get_3rd_layer_output([x, 1])[0]

 

4、有时候from tensorflow.keras 无法 import layers?

        如下图所示，此时需要知道keras所在的具体位置

        keras的具体位置查询：

>>> from tensorflow import keras
>>> print(keras.__path__)
['C:\\Users\\SLJ\\Anaconda3\\envs\\tfenv\\lib\\site-packages\\tensorflow\\python\\keras\\api\\_v1\\keras']

      可以有两种导入的方法：

from tensorflow.python.keras import layers
from tensorflow.python.keras.api._v1.keras import layers