keras 并行九三_教程 | 如何使用Keras集成多个卷积网络并实现共同预测

原标题：教程 | 如何使用Keras集成多个卷积网络并实现共同预测

选自TowardsDataScience

参与：刘晓坤、黄小天

在统计学和机器学习领域，集成方法(ensemble method)使用多种学习算法以获得更好的预测性能(相比单独使用其中任何一种算法)。和统计力学中的统计集成(通常是无穷集合)不同，一个机器学习集成仅由一个离散的可选模型的离散集合组成，但通常拥有更加灵活的结构 [1]。

GitHub 地址：https://github.com/LawnboyMax/keras_ensemblng

使用集成的主要动机是在发现新的假设，该假设不一定存在于构成模型的假设空间中。从经验的角度看，当模型具有显著的多样性时，集成方法倾向于得到更好的结果 [2]。

动机

在一个大型机器学习竞赛的比赛结果中，最好的结果通常是由模型的集成而不是由单个模型得到的。例如，ILSVRC2015 的得分最高的单个模型架构得到了第 13 名的成绩。而第 1 到 12 名都使用了不同类型的模型集成。

我目前并没有发现有任何的教程或文档教人们如何在一个集成中使用多种模型，因此我决定自己做一个这方面的使用向导。

我将使用 Keras，具体来说是它的功能性 API，以从相对知名的论文中重建三种小型 CNN(相较于 ResNet50、Inception 等而言)。我将在 CIFAR-10 数据集上独立地训练每个模型 [3]。然后使用测试集评估每个模型。之后，我会将所有三个模型组成一个集合，并进行评估。通常按照预期，这个集成相比单独使用其中任何一个模型，在测试集上能获得更好的性能。

有很多种不同类型的集成：其中一种是堆叠(stacking)。这种类型更加通用并且在理论上可以表征任何其它的集成技术。堆叠涉及训练一个学习算法结合多种其它学习算法的预测 [1]。对于这个示例，我将使用堆叠的最简单的一种形式，其中涉及对集成的模型输出取平均值。由于取平均过程不包含任何参数，这种集成不需要训练(只需要训练模型)。

本文介绍的集成的简要结构

准备数据

首先，导入类和函数：

fromkeras.modelsimportModel,Input

fromkeras.layersimportConv2D,MaxPooling2D,GlobalAveragePooling2D,Activation,Average,Dropout

fromkeras.utilsimportto_categorical

fromkeras.lossesimportcategorical_crossentropy

fromkeras.callbacksimportModelCheckpoint,TensorBoard

fromkeras.optimizersimportAdam

fromkeras.datasetsimportcifar10

importnumpyasnp

我使用的数据集是 CIFAR-10，因为很容易找到在这个数据集上工作得很好的架构的相关论文。使用一个流行的数据集还可以令这个案例容易复现。

以下是数据集的导入代码。训练数据和测试数据都已经归一化。训练标签向量被转换成一个 one-hot 矩阵。不需要转换测试标签向量，因为它不会在训练中使用。

(x_train, y_train), (x_test, y_test) = cifar10.load_data()

x_train = x_train /255.

x_test = x_test /255.

y_train = to_categorical(y_train, num_classes=10)

数据集由 6 万张 10 个类别的 32x32 的 RGB 图像组成。其中 5 万张用于训练/验证，其它 1 万张用于测试。

print('x_train shape: {} |

y_train shape: {}nx_test shape : {} |

y_test shape : {}'.format(x_train.shape, y_train.shape, x_test.shape, y_test.shape))

>>> x_train shape: (50000, 32, 32, 3) | y_train shape: (50000, 10)

>>> x_test shape : (10000, 32, 32, 3) | y_test shape : (10000, 1)

由于三个模型使用的是相同类型的数据࿰