（十二）利用 vecstacks 自动进行 stacking

最新推荐文章于 2022-02-21 20:32:05 发布

coderpai

最新推荐文章于 2022-02-21 20:32:05 发布

阅读量1k

点赞数

分类专栏：量化交易

本文链接：https://blog.csdn.net/CoderPai/article/details/98519914

版权

量化交易专栏收录该内容

102 篇文章 63 订阅

订阅专栏

作者：chen_h
微信号 & QQ：862251340
微信公众号：coderpai

（一）机器学习中的集成学习入门

（二）bagging 方法

（三）使用Python进行交易的随机森林算法

（四）Python中随机森林的实现与解释

（五）如何用 Python 从头开始实现 Bagging 算法

（六）如何利用Python从头开始实现随机森林算法

（七）AdaBoost 简介

（八）Python 中的 AdaBoost 分类器实例

（九）AdaBoost 中参数对于决策边界复杂度分析

（十）stacking 简介

（十一）为什么堆叠的集成模型容易赢得 kaggle 比赛？

（十二）利用 vecstacks 自动进行 stacking

介绍

在将机器学习算法推向新的高度时，利用堆栈（堆栈式泛化）是一个非常热门的话题。例如，如今大多数获胜的 Kaggle 提交都使用某种形式的堆栈或其变体。最初由 David Wolpert 在1992年的论文 Stacked Generalization 中介绍，他们的主要目的是减少泛化错误。根据 Wolpert 的说法，他们可以被理解为“更复杂的交叉验证版本”。虽然Wolpert 当时注意到大部分堆栈是“黑色艺术”，但似乎构建越来越大的堆栈泛化胜过更小的堆栈泛化。然而，随着这些模型的大小不断增加，它们的复杂性也会增加。自动化构建不同体系结构的过程将大大简化此过程。本文的其余部分将讨论我最近遇到的软件包 vecstack 正在尝试这样做。

堆栈泛化是什么样的？

堆栈泛化结构背后的主要思想是使用一个或多个第一级模型，使用这些模型进行预测，然后将这些预测用作特征以在顶部拟合一个或多个第二级模型。为了避免过度拟合，交叉验证通常用于预测训练集的OOF（out of fold）部分。这个包中有两种不同的变体，但我将在本段中描述“变体A”。为了得到这个变体的最终预测，我们采用所有预测的均值。整个过程可以使用vecstacks文档中的这个GIF进行可视化：

在这里插入图片描述

使用案例：构建用于分类的堆栈泛化模型

看完文档之后，是时候尝试自己使用这个包了，看看它是如何工作的。为此，我决定使用UCI机器学习库中提供的葡萄酒数据集。该数据集的问题是使用13个特征，这些特征都代表葡萄酒的不同方面，以预测葡萄酒是来自意大利的三个品种中的哪一个。
首先，让我们导入我们项目所需的软件包：

import pandas as pd
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.ensemble import RandomForestClassifier
from xgboost import XGBClassifier
from vecstack import stacking

现在我们已准备好导入我们的数据并查看它以更好地理解它：

link = 'https://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data'
names = ['Class', 'Alcohol', 'Malic acid', 'Ash',
         'Alcalinity of ash' ,'Magnesium', 'Total phenols',
         'Flavanoids', 'Nonflavanoid phenols', 'Proanthocyanins',     'Color intensity', 'Hue', 'OD280/OD315 of diluted wines',
         'Proline']
df = pd.read_csv(link, header=None, names=names)
df.sample(5)

运行上面的代码块：

在这里插入图片描述

请注意，我使用.sample（）代替.head（）以避免因假设整个数据集具有前五行的结构而被误导。幸运的是，这个数据集没有任何缺失值，因此我们可以轻松地使用它来立即测试我们的问题，而无需任何通常需要的数据清理和准备。

在此之后，我们将根据 vecstacks 文档中的示例将结果与输入变量分开并执行 80:20 的train-test-split。

y = df[['Class']]
X = df.iloc[:,1:]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

我们越来越接近有趣的部分。还记得早些时候的GIF图吗？现在是时候为我们的堆栈泛化定义第一级模型。这一步绝对值得写一个系列文章，但为了简单起见，我们将使用三种模型：KNN分类器，随机森林分类器和XGBoost分类器。

models = [
    KNeighborsClassifier(n_neighbors=5,
                        n_jobs=-1),
        
    RandomForestClassifier(random_state=0, n_jobs=-1, 
                           n_estimators=100, max_depth=3),
        
    XGBClassifier(random_state=0, n_jobs=-1, learning_rate=0.1, 
                  n_estimators=100, max_depth=3)
]

这些参数在设置之前未进行调整，因为本文的目的是测试包。如果要优化性能，则不应只复制和粘贴这些。

从文档中获取下一部分代码，我们基本上使用第一级模型执行GIF的第一部分来进行预测：

S_train, S_test = stacking(models,                   
                           X_train, y_train, X_test,   
                           regression=False, 
     
                           mode='oof_pred_bag', 
       
                           needs_proba=False,
         
                           save_dir=None, 
            
                           metric=accuracy_score, 
    
                           n_folds=4, 
                 
                           stratified=True,
            
                           shuffle=True,  
            
                           random_state=0,    
         
                           verbose=2)

堆栈函数需要输入的几个参数如下：

models：我们之前定义的第一级模型
X_train，y_train，X_test：我们的数据
regression：布尔值，指示是否要将该函数用于回归。在我们的情况下设置为False，因为这是一个分类问题
mode：使用前面描述的交叉验证过程中的折叠
needs_proba：布尔值，指示是否需要类标签的概率
save_dir：将结果保存到目录Boolean
metric：要使用的评估指标（我们在开头导入了accuracy_score）
n_folds：用于交叉验证的折叠数
stratified：是否使用分层交叉验证
shuffle：是否要改组数据
random_state：设置随机状态以获得再现性
verbose：2这里指的是打印所有信息

这样做，我们得到以下输出：

task:         [classification]
n_classes:    [3]
metric:       [accuracy_score]
mode:         [oof_pred_bag]
n_models:     [4]
model  0:     [KNeighborsClassifier]
    fold  0:  [0.72972973]
    fold  1:  [0.61111111]
    fold  2:  [0.62857143]
    fold  3:  [0.76470588]
    ----
    MEAN:     [0.68352954] + [0.06517070]
    FULL:     [0.68309859]
model  1:     [ExtraTreesClassifier]
    fold  0:  [0.97297297]
    fold  1:  [1.00000000]
    fold  2:  [0.94285714]
    fold  3:  [1.00000000]
    ----
    MEAN:     [0.97895753] + [0.02358296]
    FULL:     [0.97887324]
model  2:     [RandomForestClassifier]
    fold  0:  [1.00000000]
    fold  1:  [1.00000000]
    fold  2:  [0.94285714]
    fold  3:  [1.00000000]
    ----
    MEAN:     [0.98571429] + [0.02474358]
    FULL:     [0.98591549]
model  3:     [XGBClassifier]
    fold  0:  [1.00000000]
    fold  1:  [0.97222222]
    fold  2:  [0.91428571]
    fold  3:  [0.97058824]
    ----
    MEAN:     [0.96427404] + [0.03113768]
    FULL:     [0.96478873]

再次提到GIF，现在剩下要做的就是将我们选择的第二级模型拟合到我们的预测中，以进行最终预测。在我们的例子中，我们将使用XGBoost分类器。此步骤与sklearn中的常规拟合和预测没有显著差异，除了我们使用我们的预测S_train而不是使用X_train训练我们的模型。

model = XGBClassifier(random_state=0, n_jobs=-1, learning_rate=0.1, 
                      n_estimators=100, max_depth=3)
    
model = model.fit(S_train, y_train)
y_pred = model.predict(S_test)
print('Final prediction score: [%.8f]' % accuracy_score(y_test, y_pred))
Output: Final prediction score: [0.97222222]