用卷积神经网络检测脸部关键点的教程（四）通过前训练（pre-train）训练专项网络

本文翻译自Using convolutional neural nets to detect facial keypoints tutorial。

用卷积神经网络检测脸部关键点的教程（一）环境配置与浅层网络训练
用卷积神经网络检测脸部关键点的教程（二）卷积神经网络训练和数据扩充
用卷积神经网络检测脸部关键点的教程（三）学习率，学习动量，dropout
用卷积神经网络检测脸部关键点的教程（四）通过前训练（pre-train）训练专项网络

训练专项网络

还记得我们在开始时丢弃的70％的培训数据吗？结果表明，如果我们想在Kaggle排行榜上获得一个有竞争力的得分，这是一个很糟糕的主意。在70％的数据和挑战的测试集中，我们的模型还有相当多特征没有看到。

因此，改变之前只训练单个模型的方式，让我们训练几个专项网络，每个专项网络预测一组不同的目标值。我们将训练一个只预测left_eye_center和right_eye_center的模型，一个仅用于nose_tip等等;总的来说，我们将有六个模型。这将允许我们使用完整的训练数据集，并希望获得整体更有竞争力的分数。

六个专项网络都将使用完全相同的网络架构（一种简单的方法，不一定是最好的）。因为训练必须比以前花费更长的时间，所以让我们考虑一个策略，以便我们不必等待max_epochs完成，即使验证错误停止提高很多。这被称为早期停止，我们将写另一个on_epoch_finished回调来处理。这里的实现：

class EarlyStopping(object):
    def __init__(self, patience=100):
        self.patience = patience
        self.best_valid = np.inf
        self.best_valid_epoch = 0
        self.best_weights = None

    def __call__(self, nn, train_history):
        current_valid = train_history[-1]['valid_loss']
        current_epoch = train_history[-1]['epoch']
        if current_valid < self.best_valid:
            self.best_valid = current_valid
            self.best_valid_epoch = current_epoch
            self.best_weights = nn.get_all_params_values()
        elif self.best_valid_epoch + self.patience < current_epoch:
            print("Early stopping.")
            print("Best valid loss was {:.6f} at epoch {}.".format(
                self.best_valid, self.best_valid_epoch))
            nn.load_params_from(self.best_weights)
            raise StopIteration()

可以看到，在call函数里面有两个分支：第一个是现在的验证错误比我们之前看到的要好，第二个是最好的验证错误所在的迭代次数和当前迭代次数的距离已经超过了我们的耐心。在第一个分支里，我们存下网络的权重：