一种解决keras的earlystopping的自定义metric麻烦（比如auc）的方法

keras是一个非常方便的深度学习框架，可以说是最好上手的框架（几乎没有之一吧）

他的earlystopping需要自定义metric才可以使用，存在两个比较麻烦的问题：

1.自定义metric的函数必须写成后端（theano或者TensorFlow）的符号函数的形式，对于一些比较复杂的计算函数，编写符号函数是一个麻烦的事儿，比如auc或者auc相关的gini系数。

2.keras的earlystopping如果你不结合makecheckpoint的方式来使用的话，在stop的时候无法保存最佳的模型。

3.自定义earlystopping可以解决一切问题，不过看代码毕竟稍微有一丢丢麻烦。

为了解决以上两个问题，实验室的师兄想出了以下代码，个人认为是一个非常好的思路，分享出来供参考，也算开源精神吧：

1.首先是有三个list保存最好模型和结果

    cv_models = [] #保存最好的模型
    cv_results = []#保存最好模型的oof预测结果，可以用来做stacking用
    cv_scores = [] #保存最好的预测分数

2.主要思路是自己手动epoch过后做预测然后算预测结果（跟callback.Earlystopping其实是一个道理）

优点是自己可以用各种sklearn的已有的评价函数（例如auc等）

clf=network1(train_X.shape[1])
        best = [0, 0, 0, 0]  # socre, epoch, model.copy , cv_result
        earlystop = 10
        for epoch in range(1000):
            clf.fit(train_X.values, train_Y.values,
                      batch_size=512, epochs=1, verbose=2)
            r = clf.predict(valid_X.values,
                              batch_size=512)
            s = 2 * roc_auc_score(valid_Y, r) - 1
            print("cv, epoch, score:", cv, epoch, s)
            if s > best[0]:
                best = [s, epoch, copy.copy(clf), r]
            if epoch - best[1] > earlystop:
                break
        tmp=pd.DataFrame()
        tmp['id']=valid_data['id']
        tmp['cv_result']=best[-1][:,0]
        cv_results.append(tmp)
        cv_models.append(best[2])
        cv_scores.append(best[0])

再次感谢我的师兄分享他的代码给我，学习了很多！