集成学习-提升法

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

集成学习

        集成学习通过构建并结合多个学习器来完成学习任务。其主要的学习思路是：先产生一个个体学习器，然后用某种策略将这些个体学习器结合起来。其中个体学习器通常由训练数据产生。
        所以可以认为集成学习有两个重要的部分，一个是生成个体学习器的方式，另一个则是结合个体学习器的策略。
        对于个体学习器，应要求每个个体学习器都有一定的准确性（至少不应比弱学习器差）。
        对于组合策略，若基于回归问题，则集成后的结果是多个回归模型预测结果的平均值；而若基于分类模型，则集成后的结果是多个分类模型预测结果中出现最多的类别（对于分类模型来说，根据投票方法不同，此定义也会有细微变化）。

结合策略-投票法

原理

        Kearns等人提出在PAC框架中“强可学习”（模型由算法训练后，评价较高）及“弱可学习”（模型由算法训练后，评价仅比瞎猜强）的概念，后由Schapire证明，在该框架内强可学习与弱可学习是等价的。由此出现使用弱学习方法作为个体学习器，然后使用某策略结合个体学习器，从而达到强可学习效果的情况。
        投票法就是其中的佼佼者，它是一种遵循少数服从多数的集成策略，其主要思路就是通过多个模型的集成来降低方差，提高集成模型的泛化能力。
        投票策略应用于不同的问题有不同的分类，同前文所述，基于回归问题进行投票，将得到多个回归模型预测结果的平均值，此时该投票策略可称为回归投票；基于分类问题进行投票，若得到多个分类模型预测最多的类，则称该投票策略可称为硬分类投票，而若得到多个分类模型预测概率加和最大的类，则称该投票策略可称为硬分类投票。
        同时，在实际应用时，若要保证投票策略可以得到较好的预测结果，应保证：
（1）基模型之间的效果不能差别过大。因为当某个基模型相对于其他基模型效果过差时，该模型很可能成为噪声。
（2）基模型之间应该有较小的同质性。因为在基模型预测效果近似的情况下，再使用树模型与线性模型作为基模型进行投票，其结果往往优于两个树模型或两个线性模型。
        当投票合集中使用的模型能预测出清晰的类别标签时，适合使用硬投票。当投票集合中使用的模型能预测类别的概率时，适合使用软投票。即是否清楚联合概率，抑或仅已知条件概率。软投票同样可以用于那些本身并不预测类成员概率的模型，只要他们可以输出类似于概率的预测分数值（例如支持向量机、k-最近邻和决策树）。
        投票法的局限性在于，它对所有模型的处理是一样的，这意味着所有模型对预测的贡献是一样的。如果一些模型在某些情况下很好，而在其他情况下很差，那么就要谨慎使用原始的投票法。

实现代码

代码如下（示例）：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import warnings
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.ensemble import VotingClassifier
from sklearn.datasets import make_classification
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import BaggingClassifier

models = [('lr', LogisticRegression()), ('svm', SVC())]
ensemble = VotingClassifier(estimators=models, voting='soft')
def get_dataset():
    X, y = make_classification(n_samples=1000, n_features=20, n_informative=15,
                               n_redundant=5, random_state=2)
    return X, y

def get_voting():
    models = list()
    models.append(('knn1', KNeighborsClassifier(n_neighbors=1)))
    models.append(('knn3', KNeighborsClassifier(n_neighbors=3)))
    models.append(('knn5', KNeighborsClassifier(n_neighbors=5)))
    models.append(('knn7', KNeighborsClassifier(n_neighbors=7)))
    models.append(('knn9', KNeighborsClassifier(n_neighbors=9)))
    ensemble = VotingClassifier(estimators=models, voting='hard')
    return ensemble

def get_models():
    models = dict()
    models['knn1'] = KNeighborsClassifier(n_neighbors=1)
    models['knn3'] = KNeighborsClassifier(n_neighbors=3)
    models['knn5'] = KNeighborsClassifier(n_neighbors=5)
    models['knn7'] = KNeighborsClassifier(n_neighbors=7)
    models['knn9'] = KNeighborsClassifier(n_neighbors=9)
    models['hard_voting'] = get_voting()
    return models

def evaluate_model(model, X, y):
    cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
    scores = cross_val_score(model, X, y, scoring='accuracy', cv = cv, n_jobs=-1,
                             error_score='raise')
    return scores

X, y = get_dataset()
models = get_models()
results, names = list(), list()
for name, model in models.items():
    scores = evaluate_model(model, X, y)
    results.append(scores)
    names.append(name)
    print('%s %.3f (%.3f)' % (name, np.mean(scores), np.std(scores)))

plt.boxplot(results, labels=names, showmeans=True)
plt.show()

        显然，使用投票策略的集成学习结果要好于任何一种基模型的效果。

基模型生成及结合策略-bagging方法

        根据个体学习器的生成方式，可以将集成学习大致的分为两类，一类是个体学习器间内存在强依赖关系、必须串行的方法（boosting等），另一类是个体学习器间不存在请依赖关系、可以同时生成并行化的方法（bagging、随机森林等）。不同于投票法，bagging方法既能采用结合策略，也能通过影响基模型训练（保证基模型服从一定的假设），达到影响集成结果的目的。

原理

        Bagging的核心基于bootstrap（又放回的从数据集中进行采样，即同一样本多次采样，以保证基模型的差异性 / 独立性）。首先我们随机取出一个样本放入采样集合中，再把这个样本放回初始数据集，重复K次采样，最终我们可以获得一个大小为K的样本集合。同样的方法， 我们可以采样出T个含K个样本的采样集合，然后基于每个采样集合训练出一个基学习器，再将这些基学习器进行结合，这就是Bagging的基本流程。
        对回归问题的预测是通过取各基模型的预测平均值来完成的。对于分类问题的预测是通过取多数票的基模型结果作为预测结果来完成的。Bagging方法之所以有效，是因为每个模型都是在略微不同的训练数据集上拟合的，这使得每个基模型之间存在略微的差异，使每个基模型拥有略微不同的训练能力。
        Bagging同样是一种降低方差的技术，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更加明显。在实际的使用中，加入列采样的Bagging技术对高维小样本往往有神奇的效果。

实现代码

代码如下（示例）：

X, y = make_classification(n_samples=1000, n_features=20, n_informative=15,
                           n_redundant=5, random_state=5)
print(X.shape, y.shape)
model = BaggingClassifier()
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
n_scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1, error_score='raise')
print('Accuracy: %.3f (%.3f)' % (np.mean(n_scores), np.std(n_scores)))