集成学习之blending

方法实现步骤介绍

1、将数据集划分为训练集和测试集，假设有10000个样本，训练集占（80%，8000），测试集占（20%，2000）。然后再将训练集划分为训练集和验证集，其中训练集占70%，验证集占（30%，2400）。
2、通过K个同质或不同质的基训练器，以训练集数据进行拟合，将拟合得到的模型对验证集和测试集数据进行预测，将拟合结果作为新的变量标签加入各样本。
3、这时，每个样本都有K个基础模型预测结果的变量，将这K个变量作为自变量，利用验证集数据去拟合预测目标变量，得到第二层模型
4、使用第二层模型对验证集数据进行预测，根据结果报出准确率等一系列评价指标。

方法优劣

优势：方法简单，易于理解
缺点：第二层模型的拟合只用了全部样本的24%，没有充分的利用样本信息。

实现

# 加载相关工具包
 import numpy as np 
 import pandas as pd 
 import matplotlib.pyplot as plt 
 plt.style.use("ggplot") 
 %matplotlib inline 
 import seaborn as sns

# 创建数据 
from sklearn import datasets 
from sklearn.datasets import make_blobs 
from sklearn.model_selection import train_test_split 
data, target = make_blobs(n_samples=10000, centers=2, random_state