模型融合

最新推荐文章于 2022-07-19 12:00:48 发布

Royel transformed

最新推荐文章于 2022-07-19 12:00:48 发布

阅读量358

点赞数 1

分类专栏：机器学习

本文链接：https://blog.csdn.net/transformed/article/details/104715395

版权

本文深入探讨了模型融合的概念，通过实例介绍了如何使用stacking方法进行模型集成，提升预测准确性和模型稳定性。文章详细阐述了每个步骤，从训练基础模型到构建上层模型，最后进行模型融合，提供了一个完整的过程。

摘要由CSDN通过智能技术生成

好文章：

https://zhuanlan.zhihu.com/p/61705517

一个stacking过程：

_N_FOLDS = 5  # 采用5折交叉验证
kf = KFold(n_splits=_N_FOLDS, random_state=42)  # sklearn的交叉验证模块，用于划分数据


def get_oof(clf, X_train, y_train, X_test):
    # X_train: 1000 * 10
    # y_train: 1 * 1000
    # X_test : 500 * 10
    oof_train = np.zeros((X_train.shape[0], 1))  # 1000 * 1  Stacking后训练数据的输出
    oof_test_skf = np.empty((_N_FOLDS, X_test.shape[0], 1))  # 5 * 500 * 1，oof_test_skf[i]代表第i折交叉验证产生的模型对测试集预测结果

    for i, (train_index, test_index) in enumerate(kf.split(X_train)): # 交叉验证划分此时的训练集和验证集
        kf_X_train = X_train[train_index]  # 800 * 10 训练集
        kf_y_train = y_train[train_index]  # 1 * 800 训练集对应的输出
        kf_X_val = X_train[test